CN111585892B - 数据中心流量管控方法和系统 - Google Patents

数据中心流量管控方法和系统 Download PDF

Info

Publication number
CN111585892B
CN111585892B CN202010355347.3A CN202010355347A CN111585892B CN 111585892 B CN111585892 B CN 111585892B CN 202010355347 A CN202010355347 A CN 202010355347A CN 111585892 B CN111585892 B CN 111585892B
Authority
CN
China
Prior art keywords
speed
limiting
target
flow
data center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010355347.3A
Other languages
English (en)
Other versions
CN111585892A (zh
Inventor
覃华伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010355347.3A priority Critical patent/CN111585892B/zh
Publication of CN111585892A publication Critical patent/CN111585892A/zh
Priority to PCT/CN2020/117887 priority patent/WO2021218014A1/zh
Application granted granted Critical
Publication of CN111585892B publication Critical patent/CN111585892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/44—Distributed routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/29—Flow control; Congestion control using a combination of thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/80—Actions related to the user profile or the type of traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/55—Prevention, detection or correction of errors
    • H04L49/557—Error correction, e.g. fault recovery or fault tolerance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

本发明涉及大数据技术领域，提供了一种数据中心流量管控方法，应用于数据中心流量管控系统，该系统包括：数据中心和部署在所述数据中心出入口处的限速集群，所述限速集群包括：多个限速节点，其特征在于，所述方法包括：所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值；所述限速节点获取所述限速目标对应的预设流量阈值；当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速。该数据中心流量管控方法通过限速节点实现了对出入数据中心的流量进行限速管控。此外，还提出一种数据中心流量管控系统。

Description

数据中心流量管控方法和系统
技术领域
本发明涉及大数据技术领域，尤其涉及一种数据中心流量管控方法和系统。
背景技术
现有的数据中心没有对出入口的流量进行管控，存在两个方面的隐患，一方面，DDOS(分布式拒绝服务攻击)就会很容易对数据中心造成破坏。破坏性的网络流量可能是针对数据中心内的特定IP，会造成该IP对外提供服务的中断；破坏性的网络流量也可能针对数据中心的很多IP，可以浪费数据中心的入口带宽，造成整体服务质量的下降。另一方面，数据中心内也可能存在过大的往互联网方向的流量，如果不做管控也可能会影响本数据中心内对互联网提供的服务。故，亟需要提供一种对数据中心出入口的流量进行管控的方法。
发明内容
鉴于此，本发明提供了一种能够对数据中心的流量进行管控的数据中心流量管控方法和系统。
一种数据中心流量管控方法，应用于数据中心流量管控系统，该系统包括：数据中心和部署在所述数据中心出入口处的限速集群，所述限速集群包括：多个限速节点，所述方法包括：所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值；所述限速节点获取所述限速目标对应的预设流量阈值；当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速。
在其中一个实施例中，所述限速目标为多个IP地址；所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值，包括：所述限速节点分别对所述限速目标中的每个IP地址进行流量统计，将得到的每个IP地址的流量统计值进行累加得到所述所述限速目标的流量统计值。
在其中一个实施例中，所述限速目标分布在多个限速节点上；所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值，包括：每个所述限速节点获取其他限速节点统计得到的所述限速目标的流量统计值；每个所述限速节点根据获取得到的其他限速节点上所述限速目标的流量统计值计算得到所述限速目标的总流量统计值；当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速，包括：当所述总流量统计值大于所述预设流量阈值时，每个所述限速节点确定对应的限速带宽；每个所述限速节点根据对应的限速带宽对所述限速目标进行限速。
在其中一个实施例中，所述当所述总流量统计值大于所述预设流量阈值时，每个所述限速节点确定对应的限速带宽，包括：每个所述限速节点根据接收到的其他限速节点上的所述限速目标的统计速率和自身的统计速率计算得到总统计速率；每个所述限速节点根据自身的统计速率和所述总统计速率计算得到自身对应的限速带宽。
在其中一个实施例中，当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速，包括：当限速目标包括多个IP地址时，所述限速节点获取在所述限速目标中的各个IP地址的优先级；根据所述各个IP地址的优先级确定丢包优先级；当所述限速目标的流量统计值大于所述预设流量阈值时，根据所述丢包优先级进行丢包限速。
在其中一个实施例中，所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值，包括：当所述限速目标为数据中心外的IP地址时，将所述数据中心外的IP地址作为源IP地址统计从公网到数据中心方向的流量值，将所述数据中心外的IP地址作为目的IP地址统计从数据中心到公网方向的流量值；
当所述限速目标为数据中心内的IP地址时，将所述数据中心内的IP地址作为源IP地址统计从数据中心到公网方向的流量值，将所述数据中心内的IP地址作为目的IP地址统计从公网到数据中心方向的流量值。
一种数据中心流量管控方法，应用于数据中心流量管控系统，该系统包括：数据中心和部署在所述数据中心出入口处的限速集群，所述限速集群包括：多个限速节点，所述限速集群部署在交换机之间，所述交换机用于对限速节点进行流量分发；所述方法包括：所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值；所述限速节点获取所述限速目标对应的预设流量阈值；当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速；所述交换机对各个限速节点进行故障检测，当检测到某个限速节点出现故障时，调整流量分发参数，使得流量分发不再经过故障的限速节点。
在其中一个实施例中，所述限速节点是由X86服务器或ARM服务器来实现的。
一种数据中心流量管控系统，该系统包括：数据中心和部署在所述数据中心出入口处的限速集群，所述限速集群包括：多个限速节点；
所述限速节点用于对限速目标进行流量统计，得到所述限速目标的流量统计值，获取所述限速目标对应的预设流量阈值，当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速。
上述数据中心流量管控方法和系统，通过在数据中心的出入口处部署限速集群，限速集群包括多个限速节点，通过限速节点对限速目标进行流量统计，然后根据统计得到的限速目标的流量统计值进行限速管控，当限速目标的流量统计值大于预设流量阈值时，限速节点对限速目标进行限速，从而实现了通过限速集群中的限速节点对出入数据中心的流量进行管控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中数据中心流量管控系统的架构图；
图2为一个实施例中限速节点部署在交换机之间的示意图；
图3为一个实施例中数据中心流量管控方法的流程图；
图4为一个实施例中限速节点确定对应的限速带宽的流程图；
图5为一个实施例中计算机设备的内部结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在一个实施例中，提出了一种数据中心流量管控系统10，用于实现一种数据中心流量管控方法。该系统包括：数据中心102和部署在所述数据中心102出入口处的限速集群104，限速集群104包括多个限速节点1042。每个限速节点是用服务器来实现的，比如，X86/ARM服务器。采用通用的X86/ARM服务器作为限速节点，具有成本低的优势。限速节点可以充当网关的作用，也可以称为“限速网关节点”。限速集群位于数据中心(IDC)出入口处，所有进出数据中心的报文都会经过该限速集群。限速集群可以部署在其他安全设备之前或之后。为了减少安全设备的压力，可以优先选择把限速集群部署在安全设备之前，从而降低安全设备的压力。
如图2所示，在一个实施例中，为了部署方便，限速节点可以部署在交换机之间，或者旁挂在交换机上。然后由交换机进行流量的分发。即交换机将流量分发到限速集群的各个限速节点上。限速集群中的限速节点可以动态调整，即可以增加或减少限速节点，然后通过相应地调整两侧交换机的流量分发参数即可实现。
另外，为了实现限速节点之间的负载均衡，限速节点工作在二层透明模式下，这是由于负载均衡实际上是有两个交换机用ECMP达成的，限速节点工作在二层透明模式下是为了保证ECMP的负载均衡不会被中间的限速影响。其中，ECMP(Equal-cost multi-path)是一个逐跳的基于流的负载均衡策略，当路由器发现同一目的地址出现多个最优路径时，会更新路由表，为此目的地址添加多条规则，对应于多个下一跳。
此外，限速节点配置一个或多个业务网卡，网卡又称为网络适配器或网络接口卡。使用多个业务网卡可以充分发挥CPU的计算能力。如果限速节点上有多个NUMA，则需要让业务网卡平均分布在多个NUMA上，其中，NUMA(Non Uniform Memory Access Architecture)技术可以使众多服务器像单一系统那样运转，同时保留小系统便于编程和管理的优点。
如图3所示，在一个实施例中，提出了一种数据中心流量管控方法，应用于数据中心流量管控系统，该系统包括：数据中心和部署在所述数据中心出入口处的限速集群，所述限速集群包括：多个限速节点，上述数据中心流量管控方法包括：
步骤302，限速节点对限速目标进行流量统计，得到限速目标的流量统计值。
其中，限速目标是指限速对象。限速目标可以根据需要自定义设置。限速目标可以是一个IP地址，也可以是一组IP地址，一组IP地址中包括多个IP地址。当然，限速目标也可以是所有IP地址。限速目标可以是数据中心内的IP地址，也可以是数据中心之外的公网的IP地址。
流量统计是基于限速目标进行统计的。流量统计值包括：收到的包字节数和包个数，转发的包字节数和包个数，以及计算得到的收到的每秒包字节数(Recv BPS)，即数据速率，收到的每秒包个数(Recv PPS)和转发的每秒包字节数(Forward BPS)和转发的每秒包个数(Forward PPS)中的至少一种。
步骤304，限速节点获取限速目标对应的预设流量阈值。
其中，预先设置限速目标的预设流量阈值，并存储到限速节点上的数据库中。限速节点从数据库中获取限速目标对应的预设流量阈值。
步骤306，判断限速目标的流量统计值是否大于预设流量阈值，若是，则进入步骤308，若否，则结束。
其中，限速节点检测限速目标的流量统计值是否大于预设流量阈值(即门限)，若大于预设流量阈值，则需要对限速目标进行限速，否则，则不作任何处理，结束。
步骤308，限速节点对限速目标进行限速。
其中，限速的方法可以采用随机丢包。当限速目标发生丢包持续一段时间或一定字节数时，可以进行预警。比如，可以通知运营人员或限速目标的相关人员。
上述数据中心流量管控方法，通过在数据中心的出入口处部署限速集群，限速集群包括多个限速节点，通过限速节点对限速目标进行流量统计，然后根据统计得到的限速目标的流量统计值进行限速管控，当限速目标的流量统计值大于预设流量阈值时，限速节点对限速目标进行限速，从而实现了通过限速集群中的限速节点对出入数据中心的流量进行管控。
在一个实施例中，限速目标为多个IP地址；限速节点对限速目标进行流量统计，得到限速目标的流量统计值，包括：限速节点分别对限速目标中的每个IP地址进行流量统计，将得到的每个IP地址的流量统计值进行累加得到限速目标的流量统计值。
其中，当限速目标包括多个IP地址时，需要将多个IP的统计结果进行聚合，然后得到聚合之后的统计结果。即需要将统计得到的每个IP地址的流量统计值进行累加得到多个IP地址对应的总流量统计值。当多个IP地址分布在多个限速节点上时，还需要进行跨节点进行聚合。具体的实现方式为：所有限速节点按照设定周期(比如，5秒)往其他限速节点同步一次自己所有的IP的统计速率或指定IP的统计速率。同步的方式可以采用组播的方法，也可以是限速节点之间的一对一单播。在一个实施例中，流量统计值是指流量速率统计值。
在一个实施例中，限速目标分布在多个限速节点上；限速节点对限速目标进行流量统计，得到限速目标的流量统计值，包括：每个限速节点获取其他限速节点统计得到的限速目标的流量统计值；每个限速节点根据获取得到的其他限速节点上限速目标的流量统计值计算得到限速目标的总流量统计值；当限速目标的流量统计值大于预设流量阈值时，限速节点对限速目标进行限速，包括：当总流量统计值大于预设流量阈值时，每个限速节点确定对应的限速带宽；每个限速节点根据对应的限速带宽对限速目标进行限速。
其中，当限速目标分布在多个限速节点上时，需要进行跨节点的流量统计。每个限速节点需要获取其他限速节点上统计得到的限速目标的流量统计值，然后进行累加得到限速目标对应的总流量统计值，当总流量统计值大于限速目标的预设流量阈值时，则每个限速节点需要确定限速目标在自身节点上的限速带宽，然后根据确定的限速带宽对限速目标进行限速。限速方法可以采用静默丢包的方式。静默丢包是指不通知发送端或接收端，直接丢包，这个丢包就是随机丢包。
举个例子，假设限速目标分布在四个限速节点上，四个限速节点分别为限速节点1、限速节点2、限速节点3和限速节点4。假设限速节点1、限速节点2、限速节点3和限速节点4收到的限速目标的数据速率分别为：R1，R2，R3，R4，如果R1+R2+R3+R4>限速目标值(即预设流量阈值)，则需要确定每个限速节点上的限速带宽。在一个实施例中，可以设置，当R1+R2+R3+R4>限速目标值时，限速节点1上的限速目标的限速带宽＝限速目标值*R1/(R1+R2+R3+R4)，限速节点2上的限速目标的限速带宽＝限速目标值*R2/(R1+R2+R3+R4)，限速节点3上的限速目标的限速带宽＝限速目标值*R3/(R1+R2+R3+R4)，限速节点4上的限速目标的限速带宽＝限速目标值*R4/(R1+R2+R3+R4)。
如图4所示，在一个实施例中，当总流量统计值大于预设流量阈值时，每个限速节点确定对应的限速带宽，包括：
步骤402，每个限速节点根据接收到的其他限速节点上的限速目标的统计速率和自身的统计速率计算得到总统计速率。
其中，当限速目标分布在多个限速节点上时，该多个限速节点需要将各自的IP统速率同步到其他限速节点上，以便于实现跨节点的聚合。每个限速节点获取到其他限速节点上的限速目标的统计速率后，通过将自身的统计速率和其他限速节点上的限速目标的统计速率相加得到限速目标对应的总统计速率。
步骤404，当总统计速率大于预设流量阈值时，每个限速节点根据自身的统计速率和总统计速率计算得到自身对应的限速带宽。
其中，预设流量阈值是指预设的速率阈值。当限速目标对应的总统计速率大于预设的速率阈值时，每个限速节点需要根据自身的统计速率和总统计速率计算得到自身对应的限速带宽。在一个实施例中，首先，每个限速节点计算得到自身的统计速率与总统计速率的比值，然后根据比值来确定每个限速节点中限速目标的限速带宽。
在一个实施例中，当限速目标的流量统计值大于预设流量阈值时，限速节点对限速目标进行限速，包括：当限速目标包括多个IP地址时，限速节点获取在限速目标中的各个IP地址的优先级；根据各个IP地址的优先级确定丢包优先级；当限速目标的流量统计值大于预设流量阈值时，根据丢包优先级进行丢包限速。
其中，当限速目标包括多个IP地址时，分别获取每个IP地址的优先级，然后根据IP地址的优先级确定丢包优先级，一般先丢掉低优先级的数据包。所以，当限速目标的流量统计值大于预设流量阈值时，则可以根据丢包优先级进行丢包限速。从而既可以实现限速，又可以避免某些高优先级的数据包被丢掉。
可以预先设置丢包优先级，优先丢掉不太重要的包，优先级的设定可以是基于IP。比如，对于付费的VIP客户，IP优先级可以设置为高优先级，没有付费的客户，IP优先级可以设置为低优先级，当需要限速时，优先丢掉的是低优先级IP对应的数据包。
另外，对于不是限速目标的IP或IP组，通常认为是低优先级流量。其能够使用的：最大进口带宽＝总进口带宽-所有限速目标的进口带宽之和；最大出口带宽＝总出口带宽-所有限速目标的出口带宽之和。
在一个实施例中，限速节点对限速目标进行流量统计，得到限速目标的流量统计值，包括：当限速目标为数据中心外的IP地址时，将数据中心外的IP地址作为源IP地址统计从公网到数据中心方向的流量值，将数据中心外的IP地址作为目的IP地址统计从数据中心到公网方向的流量值；
当限速目标为数据中心内的IP地址时，将数据中心内的IP地址作为源IP地址统计从数据中心到公网方向的流量值，将数据中心内的IP地址作为目的IP地址统计从公网到数据中心方向的流量值。
其中，限速目标可以是数据中心内的IP地址，也可以是数据中心外的IP地址，不同类型的IP地址在统计时需要明确统计的方向。数据中心外IP地址的限速可以用于防范网络攻击，数据中心内的IP地址的限速可以用于防止超过对应的IP的服务容量。通过设置限速目标既可以统计数据中心向公网的数据流量，也可以统计从公网到数据中心的流量。统计数据中心外IP地址的流量，对数据中心外IP地址进行限速，可以用于防范网络攻击。统计数据中心内IP地址的流量，对数据中心内IP地址的流量进行限速可以防止过大PPS(每秒包个数)超过数据中心对应IP的服务质量。
在一个实施例中，可以基于对流量的统计来作为用户计费凭据，以便于为用户提供优质的服务质量。比如，可以统计特定IP的流量，然后根据特定IP的流量计算产生的流量费用。
在一个实施例中，限速集群部署在交换机之间，交换机用于对限速节点进行流量分发；方法还包括：交换机对限速节点进行故障检测，当检测到某个限速节点出现故障时，调整流量分发参数，使得流量分发不再经过故障的限速节点。
其中，限速节点之间的流量分发由限速节点连接的交换机进行，流量分发算法可以是轮询，也可以是其他算法。流量分发的算法基于节点能够调整，这样便于限速集群的横向扩展，以满足后续数据中心日渐扩大的数据访问请求。交换机用于对限速集群中的限速节点进行故障检测，当检测到某个限速节点故障时，可以及时调整流量分发参数，使得流量分发不再经过故障的限速节点，保证所有的报文都能分发到仍然活动的限速节点上。
上述实施例中，通过在数据中心的出入口处部署限速集群，然后通过限速集群中的限速节点实现对数据中心的流量进行统计管控。该部署的限速集群具有如下优点：(1)该限速集群具有高性能、高可用、易于横向扩展，且易于从故障中恢复等优点。(2)限速节点采用通用的X86/ARM服务器即可实现，具有成本低的优势。(3)通过该限速集群的部署，不仅能够满足数据中心安全防护的需求，且可以基于流量统计满足计费方面的需求，有利于有针对性地提供优质的网络服务质量。
一种数据中心流量管控系统，该系统包括：数据中心和部署在所述数据中心出入口处的限速集群，所述限速集群包括：多个限速节点；所述限速节点用于对限速目标进行流量统计，得到所述限速目标的流量统计值，获取所述限速目标对应的预设流量阈值，当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速。
在一个实施例中，上述数据中心流量管控系统还包括：交换机，所述限速集群部署在交换机之间，所述交换机用于对限速节点进行流量分发；所述交换机用于对限速节点进行故障检测，当检测到某个限速节点出现故障时，调整流量分发参数，使得流量分发不再经过故障的限速节点。
在一个实施例中，所述限速目标为多个IP地址；所述限速节点还用于分别对所述限速目标中的每个IP地址进行流量统计，将得到的每个IP地址的流量统计值进行累加得到所述所述限速目标的流量统计值。
在一个实施例中，所述限速目标分布在多个限速节点上；所述限速节点还用于获取其他限速节点统计得到的所述限速目标的流量统计值，根据获取得到的其他限速节点上所述限速目标的流量统计值计算得到所述限速目标的总流量统计值；当所述总流量统计值大于所述预设流量阈值时，所述限速节点确定对应的限速带宽，根据对应的限速带宽对所述限速目标进行限速。
在一个实施例中，限速节点还用于根据接收到的其他限速节点上的所述限速目标的统计速率和自身的统计速率计算得到总统计速率，根据自身的统计速率和所述总统计速率计算得到自身对应的限速带宽。
在一个实施例中，限速节点还用于当限速目标包括多个IP地址时，获取在所述限速目标中的各个IP地址的优先级，根据所述各个IP地址的优先级确定丢包优先级；当所述限速目标的流量统计值大于所述预设流量阈值时，根据所述丢包优先级进行丢包限速。
在一个实施例中，限速接点还用于当所述限速目标为数据中心外的IP地址时，将所述数据中心外的IP地址作为源IP地址统计从公网到数据中心方向的流量值，将所述数据中心外的IP地址作为目的IP地址统计从数据中心到公网方向的流量值；当所述限速目标为数据中心内的IP地址时，将所述数据中心内的IP地址作为源IP地址统计从数据中心到公网方向的流量值，将所述数据中心内的IP地址作为目的IP地址统计从公网到数据中心方向的流量值。
在一个实施例中，所述限速节点是由X86或ARM服务器来实现的。
图5示出了一个实施例中计算机设备的内部结构图。所述计算机设备为服务器，该服务器包括但不限于高性能计算机和高性能计算机集群；如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现数据中心流量管控方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行数据中心流量管控方法。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的数据中心流量管控方法可以实现为一种计算机程序的形式，计算机程序可在如图5所示的计算机设备上运行。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：对限速目标进行流量统计，得到所述限速目标的流量统计值；获取所述限速目标对应的预设流量阈值；当所述限速目标的流量统计值大于所述预设流量阈值时，对所述限速目标进行限速。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：对限速目标进行流量统计，得到所述限速目标的流量统计值；获取所述限速目标对应的预设流量阈值；当所述限速目标的流量统计值大于所述预设流量阈值时，对所述限速目标进行限速。
需要说明的是，上述数据中心流量管控方法、系统、计算机设备及计算机可读存储介质属于一个总的发明构思，数据中心流量管控方法、数据中心流量管控系统、计算机设备及计算机可读存储介质实施例中的内容可相互适。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种数据中心流量管控方法，应用于数据中心流量管控系统，该系统包括：数据中心和部署在所述数据中心出入口处的限速集群，所述限速集群包括：多个限速节点，其特征在于，所述限速集群部署在安全设备之前，所述限速节点配置有多个业务网卡，且所述业务网卡平均分布在多个NUMA上；所述方法包括：
所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值；对限速目标进行流量统计包括：所述限速目标为数据中心外的IP地址时，将所述数据中心外的IP地址作为源IP地址统计从公网到数据中心方向的流量值，将所述数据中心外的IP地址作为目的IP地址统计从数据中心到公网方向的流量值；当所述限速目标为数据中心内的IP地址时，将所述数据中心内的IP地址作为源IP地址统计从数据中心到公网方向的流量值，将所述数据中心内的IP地址作为目的IP地址统计从公网到数据中心方向的流量值；其中，数据中心外IP地址的限速用于防范网络攻击，数据中心内的IP地址的限速用于防止超过对应的IP的服务容量；所述流量统计值包括：收到的包字节数和包个数，转发的包字节数和包个数，以及计算得到的收到的每秒包字节数，收到的每秒包个数以及转发的每秒包字节数和转发的每秒包个数；
所述限速节点获取所述限速目标对应的预设流量阈值；
当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速；
其中，所述限速目标分布在多个限速节点上；所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值，包括：
每个所述限速节点获取其他限速节点统计得到的所述限速目标的流量统计值；每个所述限速节点根据获取得到的其他限速节点上所述限速目标的流量统计值计算得到所述限速目标的总流量统计值；
当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速，包括：
当所述总流量统计值大于所述预设流量阈值时，每个所述限速节点根据接收到的其他限速节点上的所述限速目标的统计速率和自身的统计速率计算得到总统计速率；
每个所述限速节点根据自身的统计速率和所述总统计速率计算得到自身对应的限速带宽，限速节点对应的限速带宽=限速目标*该限速节点的统计速率/所述总统计速率；每个所述限速节点根据对应的限速带宽对所述限速目标进行限速；
其中，对于不是限速目标的IP或IP组，使用的带宽为：最大进口带宽=总进口带宽-所有限速目标的进口带宽之和；最大出口带宽=总出口带宽-所有限速目标的出口带宽之和。
2.根据权利要求1所述的方法，其特征在于，所述限速目标为多个IP地址；
所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值，包括：
所述限速节点分别对所述限速目标中的每个IP地址进行流量统计，将得到的每个IP地址的流量统计值进行累加得到所述限速目标的流量统计值。
3.根据权利要求1所述的方法，其特征在于，当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速，包括：
当限速目标包括多个IP地址时，所述限速节点获取在所述限速目标中的各个IP地址的优先级；
根据所述各个IP地址的优先级确定丢包优先级；
当所述限速目标的流量统计值大于所述预设流量阈值时，根据所述丢包优先级进行丢包限速。
4.一种数据中心流量管控方法，应用于数据中心流量管控系统，该系统包括：数据中心和部署在所述数据中心出入口处的限速集群，所述限速集群包括：多个限速节点，所述限速集群部署在安全设备之前，所述限速节点配置有多个业务网卡，且所述业务网卡平均分布在多个NUMA上；所述限速集群部署在交换机之间，所述交换机用于对限速节点进行流量分发；
所述方法包括：
所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值；对限速目标进行流量统计包括：所述限速目标为数据中心外的IP地址时，将所述数据中心外的IP地址作为源IP地址统计从公网到数据中心方向的流量值，将所述数据中心外的IP地址作为目的IP地址统计从数据中心到公网方向的流量值；当所述限速目标为数据中心内的IP地址时，将所述数据中心内的IP地址作为源IP地址统计从数据中心到公网方向的流量值，将所述数据中心内的IP地址作为目的IP地址统计从公网到数据中心方向的流量值；其中，数据中心外IP地址的限速用于防范网络攻击，数据中心内的IP地址的限速用于防止超过对应的IP的服务容量；所述流量统计值包括：收到的包字节数和包个数，转发的包字节数和包个数，以及计算得到的收到的每秒包字节数，收到的每秒包个数以及转发的每秒包字节数和转发的每秒包个数；
所述限速节点获取所述限速目标对应的预设流量阈值；
当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速；
所述交换机对各个限速节点进行故障检测，当检测到某个限速节点出现故障时，调整流量分发参数，使得流量分发不再经过故障的限速节点；
其中，所述限速目标分布在多个限速节点上；所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值，包括：
每个所述限速节点获取其他限速节点统计得到的所述限速目标的流量统计值；每个所述限速节点根据获取得到的其他限速节点上所述限速目标的流量统计值计算得到所述限速目标的总流量统计值；
当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速，包括：
当所述总流量统计值大于所述预设流量阈值时，每个所述限速节点根据接收到的其他限速节点上的所述限速目标的统计速率和自身的统计速率计算得到总统计速率；
每个所述限速节点根据自身的统计速率和所述总统计速率计算得到自身对应的限速带宽，限速节点对应的限速带宽=限速目标*该限速节点的统计速率/所述总统计速率；每个所述限速节点根据对应的限速带宽对所述限速目标进行限速；
其中，对于不是限速目标的IP或IP组，使用的带宽为：最大进口带宽=总进口带宽-所有限速目标的进口带宽之和；最大出口带宽=总出口带宽-所有限速目标的出口带宽之和。
5.根据权利要求4所述的方法，其特征在于，所述限速节点是由X86服务器或ARM服务器来实现的。
6.一种数据中心流量管控系统，该系统包括：数据中心和部署在所述数据中心出入口处的限速集群，所述限速集群包括：多个限速节点，所述限速集群部署在安全设备之前，所述限速节点配置有多个业务网卡，且所述业务网卡平均分布在多个NUMA上；
所述限速节点用于对限速目标进行流量统计，得到所述限速目标的流量统计值，获取所述限速目标对应的预设流量阈值，当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速；对限速目标进行流量统计包括：所述限速目标为数据中心外的IP地址时，将所述数据中心外的IP地址作为源IP地址统计从公网到数据中心方向的流量值，将所述数据中心外的IP地址作为目的IP地址统计从数据中心到公网方向的流量值；当所述限速目标为数据中心内的IP地址时，将所述数据中心内的IP地址作为源IP地址统计从数据中心到公网方向的流量值，将所述数据中心内的IP地址作为目的IP地址统计从公网到数据中心方向的流量值；其中，数据中心外IP地址的限速用于防范网络攻击，数据中心内的IP地址的限速用于防止超过对应的IP的服务容量；所述流量统计值包括：收到的包字节数和包个数，转发的包字节数和包个数，以及计算得到的收到的每秒包字节数，收到的每秒包个数以及转发的每秒包字节数和转发的每秒包个数；
其中，所述限速目标分布在多个限速节点上；所述限速节点对限速目标进行流量统计，得到所述限速目标的流量统计值，包括：
每个所述限速节点获取其他限速节点统计得到的所述限速目标的流量统计值；每个所述限速节点根据获取得到的其他限速节点上所述限速目标的流量统计值计算得到所述限速目标的总流量统计值；
当所述限速目标的流量统计值大于所述预设流量阈值时，所述限速节点对所述限速目标进行限速，包括：
当所述总流量统计值大于所述预设流量阈值时，每个所述限速节点根据接收到的其他限速节点上的所述限速目标的统计速率和自身的统计速率计算得到总统计速率；
每个所述限速节点根据自身的统计速率和所述总统计速率计算得到自身对应的限速带宽，限速节点对应的限速带宽=限速目标*该限速节点的统计速率/所述总统计速率；每个所述限速节点根据对应的限速带宽对所述限速目标进行限速；
其中，对于不是限速目标的IP或IP组，使用的带宽为：最大进口带宽=总进口带宽-所有限速目标的进口带宽之和；最大出口带宽=总出口带宽-所有限速目标的出口带宽之和。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括：交换机，所述限速集群部署在交换机之间，所述交换机用于对限速节点进行流量分发；
所述交换机用于对限速节点进行故障检测，当检测到某个限速节点出现故障时，调整流量分发参数，使得流量分发不再经过故障的限速节点。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任一项所述的方法。
CN202010355347.3A 2020-04-29 2020-04-29 数据中心流量管控方法和系统 Active CN111585892B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010355347.3A CN111585892B (zh) 2020-04-29 2020-04-29 数据中心流量管控方法和系统
PCT/CN2020/117887 WO2021218014A1 (zh) 2020-04-29 2020-09-25 数据中心流量管控方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010355347.3A CN111585892B (zh) 2020-04-29 2020-04-29 数据中心流量管控方法和系统

Publications (2)

Publication Number Publication Date
CN111585892A CN111585892A (zh) 2020-08-25
CN111585892B true CN111585892B (zh) 2022-08-12

Family

ID=72122558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010355347.3A Active CN111585892B (zh) 2020-04-29 2020-04-29 数据中心流量管控方法和系统

Country Status (2)

Country Link
CN (1) CN111585892B (zh)
WO (1) WO2021218014A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111585892B (zh) * 2020-04-29 2022-08-12 平安科技（深圳）有限公司 数据中心流量管控方法和系统
CN112866128A (zh) * 2021-01-20 2021-05-28 华云数据控股集团有限公司 分布式网络的限速方法、装置及电子设备
CN114584490B (zh) * 2022-03-25 2024-04-09 阿里巴巴（中国）有限公司 数据传输检测方法以及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017162184A1 (zh) * 2016-03-25 2017-09-28 阿里巴巴集团控股有限公司 数据中心间的业务流量控制方法、装置及系统
CN108259333A (zh) * 2016-12-29 2018-07-06 华为技术有限公司 一种bum流量控制方法、相关装置以及系统
CN108347390A (zh) * 2017-01-24 2018-07-31 华为数字技术（苏州）有限公司 一种网络设备中流量限速的方法及装置
CN109587072A (zh) * 2019-01-04 2019-04-05 中企动力科技股份有限公司 分布式系统全局限速系统及方法
US10581728B1 (en) * 2013-09-20 2020-03-03 Amazon Technologies, Inc. Rate limiting of network traffic
CN110858808A (zh) * 2018-08-23 2020-03-03 阿里巴巴集团控股有限公司 一种实现限速的方法、系统及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102882799B (zh) * 2012-09-13 2017-09-01 曙光信息产业(北京)有限公司 流量可控的集群部署配置系统与方法
US9769074B2 (en) * 2013-03-15 2017-09-19 International Business Machines Corporation Network per-flow rate limiting
EP3982270A1 (en) * 2013-11-25 2022-04-13 Amazon Technologies, Inc. Customer-directed networking limits in distributed systems
CN104009928A (zh) * 2014-05-26 2014-08-27 深圳市共进电子股份有限公司 一种对数据流进行限速的方法及装置
CN110198275B (zh) * 2018-03-28 2022-03-29 腾讯科技（深圳）有限公司 一种流量控制方法、系统、服务器及存储介质
US10630539B2 (en) * 2018-08-07 2020-04-21 International Business Machines Corporation Centralized rate limiters for services in cloud based computing environments
CN110753005A (zh) * 2019-10-17 2020-02-04 腾讯科技（深圳）有限公司 限速方法、装置及系统、电子设备和计算机可读存储介质
CN111585892B (zh) * 2020-04-29 2022-08-12 平安科技（深圳）有限公司 数据中心流量管控方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10581728B1 (en) * 2013-09-20 2020-03-03 Amazon Technologies, Inc. Rate limiting of network traffic
WO2017162184A1 (zh) * 2016-03-25 2017-09-28 阿里巴巴集团控股有限公司 数据中心间的业务流量控制方法、装置及系统
CN108259333A (zh) * 2016-12-29 2018-07-06 华为技术有限公司 一种bum流量控制方法、相关装置以及系统
CN108347390A (zh) * 2017-01-24 2018-07-31 华为数字技术（苏州）有限公司 一种网络设备中流量限速的方法及装置
CN110858808A (zh) * 2018-08-23 2020-03-03 阿里巴巴集团控股有限公司 一种实现限速的方法、系统及装置
CN109587072A (zh) * 2019-01-04 2019-04-05 中企动力科技股份有限公司 分布式系统全局限速系统及方法

Also Published As

Publication number Publication date
WO2021218014A1 (zh) 2021-11-04
CN111585892A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111585892B (zh) 数据中心流量管控方法和系统
EP3516833B1 (en) Methods, systems, and computer readable media for discarding messages during a congestion event
US9240949B2 (en) Methods, systems and computer readable media for predicting overload conditions using load information
US7522521B2 (en) Route processor adjusting of line card admission control parameters for packets destined for the route processor
US7139281B1 (en) Method, system and router providing active queue management in packet transmission systems
US8908521B2 (en) Load balancing for stateful scale-out network services
EP3324586B1 (en) Method and device for processing flow table
US20130259052A1 (en) Communication system, forwarding node, received packet process method, and program
US8687621B2 (en) Dynamically right-sizing prefixes for network and application performance
EP1348285B1 (en) Progressive and distributed regulation of selected network traffic destined for a network node
Hamdi et al. Performance evaluation of active queue management algorithms in large network
US8437253B2 (en) Control of preemption-based beat-down effect
Escudero-Sahuquillo et al. Combining congested-flow isolation and injection throttling in hpc interconnection networks
WO2020083272A1 (zh) 处理策略的生成方法、系统及存储介质
US20170048149A1 (en) Determining a load distribution for data units at a packet inspection device
CN109088822B (zh) 数据流量转发方法、装置、系统、计算机设备及存储介质
US8149694B2 (en) Enforcing fairness in ad hoc mesh networks
Bahnasy et al. Using ethernet commodity switches to build a switch fabric in routers
Logota et al. COR: An efficient Class-based resource Over-pRovisioning mechanism for future networks
JP6509143B2 (ja) 帯域制御装置及び方法
Domżał et al. Admission control in flow-aware multi-topology adaptive routing
Mohajerzadeh et al. An efficient and class based active Queue Management for next generation networks
US20230077864A1 (en) System and method for managing distributed shaping in a computer network
Li et al. A novel core‐stateless ABR‐like congestion avoidance scheme in IP networks
Ziegler et al. RED+ Gateways for Identification and Discrimination of unfriendly best-effort Flows in the Internet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant