CN105681125A - 一种云平台的虚拟机外网流量统计方法 - Google Patents

一种云平台的虚拟机外网流量统计方法 Download PDF

Info

Publication number
CN105681125A
CN105681125A CN201511018261.7A CN201511018261A CN105681125A CN 105681125 A CN105681125 A CN 105681125A CN 201511018261 A CN201511018261 A CN 201511018261A CN 105681125 A CN105681125 A CN 105681125A
Authority
CN
China
Prior art keywords
outer net
flow
virtual machine
virtual
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511018261.7A
Other languages
English (en)
Other versions
CN105681125B (zh
Inventor
罗义兵
杨松
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201511018261.7A priority Critical patent/CN105681125B/zh
Publication of CN105681125A publication Critical patent/CN105681125A/zh
Application granted granted Critical
Publication of CN105681125B publication Critical patent/CN105681125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/58—Association of routers
    • H04L45/586—Association of routers of virtual routers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/09—Mapping addresses
    • H04L61/25—Mapping addresses of the same type
    • H04L61/2503—Translation of Internet protocol [IP] addresses
    • H04L61/2521—Translation architectures other than single NAT servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及云计算技术领域，特别是一种云平台的虚拟机外网流量统计方法。其主要包括：首先在给虚拟机建立外网IP与虚拟机私有网络的映射时，获取外网IP绑定的虚拟路由所使用的虚拟接口；接着，在虚拟接口上建立用于统计流量的子队列，以及建立外网IP的匹配规则，将规则绑定到子队列上；虚拟机访问外网时将通过规则到该队列上并记录流量；流量统计Agent定期获取该子队列上的最新流量信息，汇报至网络服务端并保存至数据库中；最后网络服务端根据数据库中的流量信息，提供流量加工服务。本发明能够有效的统计虚拟路由上外网流量信息；可以用于虚拟机外网流量统计。

Description

一种云平台的虚拟机外网流量统计方法
技术领域
本发明涉及云计算技术领域，特别是一种云平台的虚拟机外网流量统计方法。
背景技术
随着云平台的发展，传统的外网带宽限制有一定的局限性，不能很好的体现云平台的按需使用的情况，按使用流量付费的场景越来越多。目前有很多流量统计的方式，有面向手机流量、网络设备的、虚拟机网卡统计的方案，在一定程序上解决了用户的需求，但是很少针对云平台上虚拟路由上的外网流量统计，大多数是面向硬件的方案。
发明内容
本发明解决的技术问题在于提供一种云平台的虚拟机外网流量统计方法；针对云平台上虚拟路由器进行外网流量统计。
本发明解决上述技术问题的技术方案是：
所述的方法包括：
(1)在给虚拟机建立外网IP与虚拟机私有网络的映射时，获取外网IP绑定的虚拟路由器所使用的虚拟接口；
(2)在虚拟接口上建立用于统计流量的子队列，以及建立外网IP的匹配规则，将规则绑定到子队列上；虚拟机访问外网时将通过规则到该队列上并记录流量；
(3)流量统计Agent定期获取该子队列上的最新流量信息，汇报至网络服务端并保存至数据库中；
(4)网络服务根据数据库中的流量信息，提供流量加工服务。
所述的外网IP与虚拟机私有网络的映射是通过IPTABLES的NAT规则实现，可以将内网IP与外网IP转换服务；
所述的虚拟路由器由网络命名空间提供，里面包含外网IP的接口以及内网网关接口，以及路由信息；
所述的外网IP绑定的虚拟接口名称和路由器的网络空间名称有关，根据网络名称获取其外网IP所在的接口，通过ipnetnsexecns-routeripaddrshow命令可以查看虚拟接口的外网IP信息。
所述的虚拟接口上支持多个外网IP，统计每个IP的使用流量信息需要建立子队列以及匹配规则。
所述的子队列的建立首先在接口上建立跟队列，然后在根队列上添加根分类，接着在根分类上建立子分类，在子分类上建立无分类的队列，分类上的带宽要求都为最大万兆带宽，对通过的数据包不起限速作用；
所述的匹配规则，根据外网IP的地址、规则父类、IP协、匹配的子分类id建立匹配规则，主要将经过该外网IP的数据包分流到子分类的子队列中，便于统计外网流量数据。
述的流量统计Agent有一个定时器，间隔时间通过配置文件调整，默认为1分钟统计每个虚拟接口上的子队列上的流量信息；
所述的流量统计Agent汇报给网络服务的数据信息包括外网IP，时间，流量信息，其时间形式为2015-12-07T15：54：22.410174，精确到微妙，流量的单位bytes；
所述的网络服务可以对统计的流量信息进行加工，获取每个时间段的流量信息、预测某个时间端的流量高峰值等。
本发明能够有效的统计虚拟路由上外网流量信息，支持一个虚拟路由上多个外网IP的同时统计，以及提供流量信息加工服务。
附图说明
下面结合附图对本发明进一步说明：
图1为本发明的流程图。
具体实施方式
流程图如图1所示，具体实施过程如下：
1、获取外网Ip绑定的虚拟路由上的虚拟接口
(1)首先查看外网的所在的虚拟路由器
虚拟机11.11.11.5上绑定的外网20.251.36.222；
外网20.251.36.222所在的虚拟路由所在的网络命名空间为qrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2d。
(2)进行外网与内网NAT映像后，外网Ip所在的虚拟路由器上的虚拟接口为qg-ef6b0473-1b。
2、在虚拟接口上qg-ef6b0473-1b建立流量统计子队列
(1)建立接口上的根队列信息，基于htb算法，充分利用网卡的速率
ipnetnsexecqrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2dtcqdiscadddevqg-ef6b0473-1broothandle1：htb
(2)建立根下的第一个rootclass类并设置带宽为万兆ipnetnsexecqrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2dtcclassreplacedevqg-ef6b0473-1bparent1：classid1：1htbrate10gbitceil10gbit
(3)建立子类以及子类的叶子节点(子队列)，设置带宽为最大万兆ipnetnsexecqrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2dtcclassadddevqg-ef6b0473-1bparent1：1classid1：10htbrate10gbitceil10gbitipnetnsexecqrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2dtcqdiscadddevqg-ef6b0473-1bparent1：10sfqperturb10
(4)添加流规则
ipnetnsexecqrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2dtcfilteradddevqg-ef6b0473-1bprotocolipparent1：u32matchipsrc20.251.36.222flowid1：10
3、流量统计Agent，获取外网队列上的流量信息
如下所示，其流量获取命令如下
ipnetnsexecqrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2dtc-sclassshowdevqg-ef6b0473-1b
lasshtb1：10parent1：1leaf8001：prio0rate10000Mbitceil10000Mbitburst0bcburst0b
Sent7391392585bytes4883314pkt(dropped0，overlimits0requeues0)
....
通过虚拟机访问外网的流量为7391392585bytes
4、流量统计Agent根据设定频率定期获取虚拟机访问外网的流量信息，并汇报给网络服务端，网络服务端保存至数据库中汇报的信息包括：外网IP，时间，流量信息如：
src_ip＝20.251.36.222，datetime＝2015-12-07T15：54：22.410174，netraffic＝7391392585bytes
src_ip＝20.251.36.222，datetime＝2015-12-07T15：55：22.560232，netraffic＝18288887289bytes
5、网络服务端可以根据具体需要将虚拟机外网流量记录进行加工如上面两条记录可以分析出1分钟间的流量为10897494704bytes。

Claims (7)

1.一种云平台的虚拟机外网流量统计方法。其特征在于：所述的方法包括：
(1)在给虚拟机建立外网IP与虚拟机私有网络的映射时，获取外网IP绑定的虚拟路由器所使用的虚拟接口；
(2)在虚拟接口上建立用于统计流量的子队列，以及建立外网IP的匹配规则，将规则绑定到子队列上；虚拟机访问外网时将通过规则到该队列上并记录流量；
(3)流量统计Agent定期获取该子队列上的最新流量信息，汇报至网络服务端并保存至数据库中；
(4)网络服务根据数据库中的流量信息，提供流量加工服务。
2.根据权利要求1所述的虚拟机外网流量统计方法。其特征在于：所述的外网IP与虚拟机私有网络的映射是通过IPTABLES的NAT规则实现，可以将内网IP与外网IP转换服务；
所述的虚拟路由器由网络命名空间提供，里面包含外网IP的接口以及内网网关接口，以及路由信息；
所述的外网IP绑定的虚拟接口名称和路由器的网络空间名称有关，根据网络名称获取其外网IP所在的接口，通过ipnetnsexecns-routeripaddrshow命令可以查看虚拟接口的外网IP信息。
3.根据权利要求1所述的虚拟机外网流量统计方法。其特征在于：所述的虚拟接口上支持多个外网IP，统计每个IP的使用流量信息需要建立子队列以及匹配规则。
4.根据权利要求2所述的虚拟机外网流量统计方法。其特征在于：所述的虚拟接口上支持多个外网IP，统计每个IP的使用流量信息需要建立子队列以及匹配规则。
5.根据权利要求1至4任一项所述的虚拟机外网流量统计方法。其特征在于：所述的子队列的建立首先在接口上建立跟队列，然后在根队列上添加根分类，接着在根分类上建立子分类，在子分类上建立无分类的队列，分类上的带宽要求都为最大万兆带宽，对通过的数据包不起限速作用；
所述的匹配规则，根据外网IP的地址、规则父类、IP协、匹配的子分类id建立匹配规则，主要将经过该外网IP的数据包分流到子分类的子队列中，便于统计外网流量数据。
6.根据权利要求1至4任一项所述的虚拟机外网流量统计方法。其特征在于：所述的流量统计Agent有一个定时器，间隔时间通过配置文件调整，默认为1分钟统计每个虚拟接口上的子队列上的流量信息；
所述的流量统计Agent汇报给网络服务的数据信息包括外网IP，时间，流量信息，其时间形式为2015-12-07T15:54:22.410174，精确到微妙，流量的单位bytes；
所述的网络服务可以对统计的流量信息进行加工，获取每个时间段的流量信息、预测某个时间端的流量高峰值等。
7.根据权利要求5所述的虚拟机外网流量统计方法。其特征在于：所述的流量统计Agent有一个定时器，间隔时间通过配置文件调整，默认为1分钟统计每个虚拟接口上的子队列上的流量信息；
所述的流量统计Agent汇报给网络服务的数据信息包括外网IP，时间，流量信息，其时间形式为2015-12-07T15:54:22.410174，精确到微妙，流量的单位bytes；
所述的网络服务可以对统计的流量信息进行加工，获取每个时间段的流量信息、预测某个时间端的流量高峰值等。
CN201511018261.7A 2015-12-28 2015-12-28 一种云平台的虚拟机外网流量统计方法 Active CN105681125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511018261.7A CN105681125B (zh) 2015-12-28 2015-12-28 一种云平台的虚拟机外网流量统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511018261.7A CN105681125B (zh) 2015-12-28 2015-12-28 一种云平台的虚拟机外网流量统计方法

Publications (2)

Publication Number Publication Date
CN105681125A true CN105681125A (zh) 2016-06-15
CN105681125B CN105681125B (zh) 2019-08-13

Family

ID=56297948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511018261.7A Active CN105681125B (zh) 2015-12-28 2015-12-28 一种云平台的虚拟机外网流量统计方法

Country Status (1)

Country Link
CN (1) CN105681125B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106301957A (zh) * 2016-09-29 2017-01-04 北京奇艺世纪科技有限公司 一种网络流量峰值的预测方法及装置
CN106899514A (zh) * 2017-02-24 2017-06-27 西安电子科技大学 保障多媒体业务服务质量的队列调度方法
CN110505118A (zh) * 2019-08-20 2019-11-26 内蒙古大学 个人区域网实验床及其实现、测试方法
CN111010347A (zh) * 2019-11-30 2020-04-14 北京浪潮数据技术有限公司 一种云平台的网络流量控制方法及相关装置
CN114070757A (zh) * 2021-11-15 2022-02-18 南方电网数字电网研究院有限公司 一种云计算管理控制平台用的数据流量变化监控方法
CN114422404A (zh) * 2022-01-18 2022-04-29 北京百度网讯科技有限公司 流量统计方法、装置、设备和存储介质
CN115412466A (zh) * 2022-08-26 2022-11-29 济南浪潮数据技术有限公司 一种流量监控方法、装置及其介质
CN115996183A (zh) * 2021-10-15 2023-04-21 中国联合网络通信集团有限公司 流量确定方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102347876A (zh) * 2011-09-30 2012-02-08 鞠洪尧 一种云计算网络多链路聚合控制装置
US20120324083A1 (en) * 2011-06-17 2012-12-20 Futurewei Technologies, Inc. Cloud Service Control and Management Architecture Expanded to Interface the Network Stratum
CN103036721A (zh) * 2012-12-13 2013-04-10 曙光云计算技术有限公司 云计算环境下的流量统计方法
CN103634235A (zh) * 2013-11-01 2014-03-12 国云科技股份有限公司 一种限定虚拟机网络接口速度的方法
CN104063267A (zh) * 2014-07-11 2014-09-24 孙强强 一种虚拟机流量监控方法及系统
CN104468746A (zh) * 2014-11-23 2015-03-25 国云科技股份有限公司 一种适用于云平台的分布式虚拟网络实现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120324083A1 (en) * 2011-06-17 2012-12-20 Futurewei Technologies, Inc. Cloud Service Control and Management Architecture Expanded to Interface the Network Stratum
CN102347876A (zh) * 2011-09-30 2012-02-08 鞠洪尧 一种云计算网络多链路聚合控制装置
CN103036721A (zh) * 2012-12-13 2013-04-10 曙光云计算技术有限公司 云计算环境下的流量统计方法
CN103634235A (zh) * 2013-11-01 2014-03-12 国云科技股份有限公司 一种限定虚拟机网络接口速度的方法
CN104063267A (zh) * 2014-07-11 2014-09-24 孙强强 一种虚拟机流量监控方法及系统
CN104468746A (zh) * 2014-11-23 2015-03-25 国云科技股份有限公司 一种适用于云平台的分布式虚拟网络实现方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106301957A (zh) * 2016-09-29 2017-01-04 北京奇艺世纪科技有限公司 一种网络流量峰值的预测方法及装置
CN106301957B (zh) * 2016-09-29 2019-09-17 北京奇艺世纪科技有限公司 一种网络流量峰值的预测方法及装置
CN106899514A (zh) * 2017-02-24 2017-06-27 西安电子科技大学 保障多媒体业务服务质量的队列调度方法
CN106899514B (zh) * 2017-02-24 2020-04-14 西安电子科技大学 保障多媒体业务服务质量的队列调度方法
CN110505118A (zh) * 2019-08-20 2019-11-26 内蒙古大学 个人区域网实验床及其实现、测试方法
CN110505118B (zh) * 2019-08-20 2021-11-23 内蒙古大学 个人区域网实验床及其实现、测试方法
CN111010347A (zh) * 2019-11-30 2020-04-14 北京浪潮数据技术有限公司 一种云平台的网络流量控制方法及相关装置
CN115996183A (zh) * 2021-10-15 2023-04-21 中国联合网络通信集团有限公司 流量确定方法及设备
CN114070757A (zh) * 2021-11-15 2022-02-18 南方电网数字电网研究院有限公司 一种云计算管理控制平台用的数据流量变化监控方法
CN114070757B (zh) * 2021-11-15 2023-08-08 南方电网数字电网研究院有限公司 一种云计算管理控制平台用的数据流量变化监控方法
CN114422404A (zh) * 2022-01-18 2022-04-29 北京百度网讯科技有限公司 流量统计方法、装置、设备和存储介质
CN115412466A (zh) * 2022-08-26 2022-11-29 济南浪潮数据技术有限公司 一种流量监控方法、装置及其介质

Also Published As

Publication number Publication date
CN105681125B (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN105681125A (zh) 一种云平台的虚拟机外网流量统计方法
US9037710B2 (en) Method and apparatus for correlating end to end measurements through control plane monitoring of wireless traffic
US8391157B2 (en) Distributed flow analysis
US9531620B2 (en) Control plane packet traffic statistics
US8179799B2 (en) Method for partitioning network flows based on their time information
US8601113B2 (en) Method for summarizing flow information from network devices
US9331919B2 (en) Method for summarizing flow information of network devices
WO2012106861A1 (zh) 终端分布信息获取方法、数据获取装置以及通信系统
CN102111453A (zh) 一种提取互联网用户网络行为的方法和系统
US9674728B2 (en) Method and apparatus for managing a degree of parallelism of streams
US10146682B2 (en) Method and apparatus for improving non-uniform memory access
WO2020228527A1 (zh) 数据流的分类方法和报文转发设备
Wu et al. On the growth of Internet application flows: A complex network perspective
CN104320354B (zh) 一种数据的处理方法及装置
WO2012009974A1 (zh) 一种性能统计数据的采集方法和系统
US20140258518A1 (en) Method and apparatus for applying uniform hashing to wireless traffic
CN104506394B (zh) 一种移动互联网流量统计方法和系统
CN108322354B (zh) 一种偷跑流量账户识别方法及装置
Trammell et al. Flow aggregation for the ip flow information export (IPFIX) protocol
CN110943883A (zh) 网络流量统计方法、系统、网关及计算机可读存储介质
CN110691007A (zh) 一种精确测量quic连接丢包率的方法
US20120155293A1 (en) Method and apparatus for providing a two-layer architecture for processing wireless traffic
CN101175038A (zh) 一种数据流信息传输的方法、通讯系统及设备
CN103580959A (zh) 一种分布式统计上报的实现方法
CN104965851A (zh) 一种分析数据的系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 523808 19th Floor, Cloud Computing Center, Chinese Academy of Sciences, No. 1 Kehui Road, Songshan Lake Hi-tech Industrial Development Zone, Dongguan City, Guangdong Province

Applicant after: G-Cloud Technology Co., Ltd.

Address before: 523808 No. 14 Building, Songke Garden, Songshan Lake Science and Technology Industrial Park, Dongguan City, Guangdong Province

Applicant before: G-Cloud Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant