CN105681125B - 一种云平台的虚拟机外网流量统计方法 - Google Patents

一种云平台的虚拟机外网流量统计方法 Download PDF

Info

Publication number
CN105681125B
CN105681125B CN201511018261.7A CN201511018261A CN105681125B CN 105681125 B CN105681125 B CN 105681125B CN 201511018261 A CN201511018261 A CN 201511018261A CN 105681125 B CN105681125 B CN 105681125B
Authority
CN
China
Prior art keywords
outer net
flow
virtual
virtual machine
subqueue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511018261.7A
Other languages
English (en)
Other versions
CN105681125A (zh
Inventor
罗义兵
杨松
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201511018261.7A priority Critical patent/CN105681125B/zh
Publication of CN105681125A publication Critical patent/CN105681125A/zh
Application granted granted Critical
Publication of CN105681125B publication Critical patent/CN105681125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/58—Association of routers
    • H04L45/586—Association of routers of virtual routers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/09—Mapping addresses
    • H04L61/25—Mapping addresses of the same type
    • H04L61/2503—Translation of Internet protocol [IP] addresses
    • H04L61/2521—Translation architectures other than single NAT servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及云计算技术领域，特别是一种云平台的虚拟机外网流量统计方法。其主要包括：首先在给虚拟机建立外网IP与虚拟机私有网络的映射时，获取外网IP绑定的虚拟路由所使用的虚拟接口；接着，在虚拟接口上建立用于统计流量的子队列，以及建立外网IP的匹配规则，将规则绑定到子队列上；虚拟机访问外网时将通过规则到该队列上并记录流量；流量统计Agent定期获取该子队列上的最新流量信息，汇报至网络服务端并保存至数据库中；最后网络服务端根据数据库中的流量信息，提供流量加工服务。本发明能够有效的统计虚拟路由上外网流量信息；可以用于虚拟机外网流量统计。

Description

一种云平台的虚拟机外网流量统计方法
技术领域
本发明涉及云计算技术领域，特别是一种云平台的虚拟机外网流量统计方法。
背景技术
随着云平台的发展，传统的外网带宽限制有一定的局限性，不能很好的体现云平台的按需使用的情况，按使用流量付费的场景越来越多。目前有很多流量统计的方式，有面向手机流量、网络设备的、虚拟机网卡统计的方案，在一定程序上解决了用户的需求，但是很少针对云平台上虚拟路由上的外网流量统计，大多数是面向硬件的方案。
发明内容
本发明解决的技术问题在于提供一种云平台的虚拟机外网流量统计方法；针对云平台上虚拟路由器进行外网流量统计。
本发明解决上述技术问题的技术方案是：
所述的方法包括：
(1)在给虚拟机建立外网IP与虚拟机私有网络的映射时，获取外网IP绑定的虚拟路由器所使用的虚拟接口；
(2)在虚拟接口上建立用于统计流量的子队列，以及建立外网IP的匹配规则，将规则绑定到子队列上；虚拟机访问外网时将通过规则到该队列上并记录流量；
(3)流量统计Agent定期获取该子队列上的最新流量信息，汇报至网络服务端并保存至数据库中；
(4)网络服务根据数据库中的流量信息，提供流量加工服务。
所述的外网IP与虚拟机私有网络的映射是通过IPTABLES的NAT规则实现，可以将内网IP与外网IP转换服务；
所述的虚拟路由器由网络命名空间提供，里面包含外网IP的接口以及内网网关接口，以及路由信息；
所述的外网IP绑定的虚拟接口名称和路由器的网络空间名称有关，根据网络名称获取其外网IP所在的接口，通过ip netns exec ns-router ip addr show命令可以查看虚拟接口的外网IP信息。
所述的虚拟接口上支持多个外网IP，统计每个IP的使用流量信息需要建立子队列以及匹配规则。
所述的子队列的建立首先在接口上建立跟队列，然后在根队列上添加根分类，接着在根分类上建立子分类，在子分类上建立无分类的队列，分类上的带宽要求都为最大万兆带宽，对通过的数据包不起限速作用；
所述的匹配规则，根据外网IP的地址、规则父类、IP协、匹配的子分类id建立匹配规则，主要将经过该外网IP的数据包分流到子分类的子队列中，便于统计外网流量数据。
述的流量统计Agent有一个定时器，间隔时间通过配置文件调整，默认为1分钟统计每个虚拟接口上的子队列上的流量信息；
所述的流量统计Agent汇报给网络服务的数据信息包括外网IP，时间，流量信息，其时间形式为2015-12-07T15：54：22.410174，精确到微妙，流量的单位bytes；
所述的网络服务可以对统计的流量信息进行加工，获取每个时间段的流量 信息、预测某个时间端的流量高峰值等。
本发明能够有效的统计虚拟路由上外网流量信息，支持一个虚拟路由上多个外网IP的同时统计，以及提供流量信息加工服务。
附图说明
下面结合附图对本发明进一步说明：
图1为本发明的流程图。
具体实施方式
流程图如图1所示，具体实施过程如下：
1、获取外网Ip绑定的虚拟路由上的虚拟接口
(1)首先查看外网的所在的虚拟路由器
虚拟机11.11.11.5上绑定的外网20.251.36.222；
外网20.251.36.222所在的虚拟路由所在的网络命名空间为qrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2d。
(2)进行外网与内网NAT映像后，外网Ip所在的虚拟路由器上的虚拟接口为qg-ef6b0473-1b。
2、在虚拟接口上qg-ef6b0473-1b建立流量统计子队列
(1)建立接口上的根队列信息，基于htb算法，充分利用网卡的速率
ip netns exec qrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2d tc qdiscadd dev qg-ef6b0473-1b root handle 1：htb
(2)建立根下的第一个root class类并设置带宽为万兆ip netns exec qrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2d tc class replace dev qg-ef6b0473-1bparent 1：classid 1：1htb rate 10gbit ceil 10gbit
(3)建立子类以及子类的叶子节点(子队列)，设置带宽为最大万兆ip netns execqrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2d tc class add dev qg-ef6b0473-1bparent 1：1classid 1：10htb rate 10gbit ceil 10gbit ip netns exec qrouter-1b0d193f-4931-4297-ab1b-d5c19b2fac2d tc qdisc add devqg-ef6b0473-1b parent 1：10sfqperturb 10
(4)添加流规则
ip netns exec qrouter-1b0d193f-4931-4297-ab 1b-d5c 19b2fac2d tcfilter add dev qg-ef6b0473-1b protocol ip parent 1：u32match ip src20.251.36.222flowid 1：10
3、流量统计Agent，获取外网队列上的流量信息
如下所示，其流量获取命令如下
ip netns exec qrouter-1b0d193f-4931-4297-ab 1b-d5c 19b2fac2d tc-sclass show dev qg-ef6b0473-1b
lass htb 1：10parent 1：1leaf 8001：prio 0rate 10000Mbit ceil 10000Mbitburst 0b cburst 0b
Sent 7391392585bytes 4883314pkt(dropped 0，overlimits 0requeues 0)
....
通过虚拟机访问外网的流量为7391392585bytes
4、流量统计Agent根据设定频率定期获取虚拟机访问外网的流量信息，并汇报给网络服务端，网络服务端保存至数据库中汇报的信息包括：外网IP，时间，流量信息如：
src_ip＝20.251.36.222，datetime＝2015-12-07T15：54：22.410174，netraffic＝7391392585 bytes
src_ip＝20.251.36.222，datetime＝2015-12-07T15：55：22.560232，netraffic＝1828888728 9bytes
5、网络服务端可以根据具体需要将虚拟机外网流量记录进行加工如上面两条记录可以分析出1分钟间的流量为10897494704bytes。

Claims (5)

1.一种云平台的虚拟机外网流量统计方法，其特征在于：所述的方法包括：
(1)在给虚拟机建立外网IP与虚拟机私有网络的映射时，获取外网IP绑定的虚拟路由器所使用的虚拟接口；
(2)在虚拟接口上建立用于统计流量的子队列，以及建立外网IP的匹配规则，将规则绑定到子队列上；虚拟机访问外网时将通过规则到该队列上并记录流量；
(3)流量统计Agent定期获取该子队列上的最新流量信息，汇报至网络服务端并保存至数据库中；
(4)网络服务端根据数据库中的流量信息，提供流量加工服务；
所述的子队列的建立首先在接口上建立根队列，然后在根队列上添加根分类，接着在根分类上建立子分类，在子分类上建立无分类的队列，分类上的带宽要求都为最大万兆带宽，对通过的数据包不起限速作用；
所述的匹配规则，根据外网IP的地址、规则父类、IP协议、匹配的子分类id建立匹配规则，主要将经过该外网IP的数据包分流到子分类的子队列中，便于统计外网流量数据。
2.根据权利要求1所述的虚拟机外网流量统计方法，其特征在于：所述的外网IP与虚拟机私有网络的映射是通过IPTABLES的NAT规则实现，可以将内网IP与外网IP转换服务；
所述的虚拟路由器由网络命名空间提供，里面包含外网IP的接口、内网网关接口以及路由信息；
所述的外网IP绑定的虚拟接口名称和虚拟路由器的网络空间名称有关，根据网络空间名称获取其外网IP所在的虚拟接口，通过ip netns exec ns-router ip addr show命令可以查看虚拟接口的外网IP信息。
3.根据权利要求1所述的虚拟机外网流量统计方法，其特征在于：所述的虚拟接口上支持多个外网IP，统计每个IP的使用流量信息需要建立子队列以及匹配规则。
4.根据权利要求2所述的虚拟机外网流量统计方法，其特征在于：所述的虚拟接口上支持多个外网IP，统计每个IP的使用流量信息需要建立子队列以及匹配规则。
5.根据权利要求1至4任一项所述的虚拟机外网流量统计方法，其特征在于：所述的流量统计Agent有一个定时器，间隔时间通过配置文件调整，默认为每隔1分钟统计每个虚拟接口上的子队列上的流量信息；
所述的流量统计Agent汇报给网络服务端的数据信息包括外网IP，时间，流量信息，其时间形式为2015-12-07T15:54:22.410174，精确到微秒，流量的单位为bytes；
所述的网络服务端可以对统计的流量信息进行加工，获取每个时间段的流量信息、预测某个时间段的流量高峰值。
CN201511018261.7A 2015-12-28 2015-12-28 一种云平台的虚拟机外网流量统计方法 Active CN105681125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511018261.7A CN105681125B (zh) 2015-12-28 2015-12-28 一种云平台的虚拟机外网流量统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511018261.7A CN105681125B (zh) 2015-12-28 2015-12-28 一种云平台的虚拟机外网流量统计方法

Publications (2)

Publication Number Publication Date
CN105681125A CN105681125A (zh) 2016-06-15
CN105681125B true CN105681125B (zh) 2019-08-13

Family

ID=56297948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511018261.7A Active CN105681125B (zh) 2015-12-28 2015-12-28 一种云平台的虚拟机外网流量统计方法

Country Status (1)

Country Link
CN (1) CN105681125B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106301957B (zh) * 2016-09-29 2019-09-17 北京奇艺世纪科技有限公司 一种网络流量峰值的预测方法及装置
CN106899514B (zh) * 2017-02-24 2020-04-14 西安电子科技大学 保障多媒体业务服务质量的队列调度方法
CN110505118B (zh) * 2019-08-20 2021-11-23 内蒙古大学 个人区域网实验床及其实现、测试方法
CN111010347A (zh) * 2019-11-30 2020-04-14 北京浪潮数据技术有限公司 一种云平台的网络流量控制方法及相关装置
CN115996183A (zh) * 2021-10-15 2023-04-21 中国联合网络通信集团有限公司 流量确定方法及设备
CN114070757B (zh) * 2021-11-15 2023-08-08 南方电网数字电网研究院有限公司 一种云计算管理控制平台用的数据流量变化监控方法
CN114422404A (zh) * 2022-01-18 2022-04-29 北京百度网讯科技有限公司 流量统计方法、装置、设备和存储介质
CN115412466A (zh) * 2022-08-26 2022-11-29 济南浪潮数据技术有限公司 一种流量监控方法、装置及其介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102347876A (zh) * 2011-09-30 2012-02-08 鞠洪尧 一种云计算网络多链路聚合控制装置
CN103036721A (zh) * 2012-12-13 2013-04-10 曙光云计算技术有限公司 云计算环境下的流量统计方法
CN103634235A (zh) * 2013-11-01 2014-03-12 国云科技股份有限公司 一种限定虚拟机网络接口速度的方法
CN104063267A (zh) * 2014-07-11 2014-09-24 孙强强 一种虚拟机流量监控方法及系统
CN104468746A (zh) * 2014-11-23 2015-03-25 国云科技股份有限公司 一种适用于云平台的分布式虚拟网络实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645546B2 (en) * 2011-06-17 2014-02-04 Futurewei Technologies, Inc. Cloud service control and management architecture expanded to interface the network stratum

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102347876A (zh) * 2011-09-30 2012-02-08 鞠洪尧 一种云计算网络多链路聚合控制装置
CN103036721A (zh) * 2012-12-13 2013-04-10 曙光云计算技术有限公司 云计算环境下的流量统计方法
CN103634235A (zh) * 2013-11-01 2014-03-12 国云科技股份有限公司 一种限定虚拟机网络接口速度的方法
CN104063267A (zh) * 2014-07-11 2014-09-24 孙强强 一种虚拟机流量监控方法及系统
CN104468746A (zh) * 2014-11-23 2015-03-25 国云科技股份有限公司 一种适用于云平台的分布式虚拟网络实现方法

Also Published As

Publication number Publication date
CN105681125A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105681125B (zh) 一种云平台的虚拟机外网流量统计方法
CN105580318B (zh) 用于分析通过网络的数据通信量的方法和系统
EP3364603B1 (en) Flow and time based reassembly of fragmented packets by ip protocol analyzers
JP5318582B2 (ja) ネットワーク・アクセス・デバイス内におけるインライン・サービスの方法およびシステム
US8179799B2 (en) Method for partitioning network flows based on their time information
Fiadino et al. Vivisecting whatsapp through large-scale measurements in mobile networks
US20090144414A1 (en) Method for summarizing flow information from network devices
US9331919B2 (en) Method for summarizing flow information of network devices
KR20150013800A (ko) 아웃라이어 검출을 이용한 가입자 공정성 보장 시스템 및 방법
US8897745B2 (en) Method and apparatus for optimizing delivery of network usage and billing data
WO2020228527A1 (zh) 数据流的分类方法和报文转发设备
CN102111453A (zh) 一种提取互联网用户网络行为的方法和系统
JP6671112B2 (ja) ネットワークスイッチにおける柔軟かつ効率的な解析の方法およびその装置
CN108234433A (zh) 用于处理视频业务的方法和装置
JP5916877B2 (ja) Ｄｉａｍｅｔｅｒルーティングノードをテストするための方法、システム、およびコンピュータプログラム
JP2019047254A (ja) 情報処理システム、情報処理装置及び情報処理プログラム
CN104038382B (zh) 网络监视系统
US9749840B1 (en) Generating and analyzing call detail records for various uses of mobile network resources
Hyun et al. A VoLTE traffic classification method in LTE network
FI124815B (fi) Puheludatatietueiden prosessointi
CN100454834C (zh) Ngn网络中媒体流的统计方法
CN108322354A (zh) 一种偷跑流量账户识别方法及装置
US20030099200A1 (en) Parallel limit checking in a hierarchical network for bandwidth management traffic-shaping cell
US20030099199A1 (en) Bandwidth allocation credit updating on a variable time basis
US9450768B2 (en) Subscriber-specific tracing in communications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 523808 19th Floor, Cloud Computing Center, Chinese Academy of Sciences, No. 1 Kehui Road, Songshan Lake Hi-tech Industrial Development Zone, Dongguan City, Guangdong Province

Applicant after: G-Cloud Technology Co., Ltd.

Address before: 523808 No. 14 Building, Songke Garden, Songshan Lake Science and Technology Industrial Park, Dongguan City, Guangdong Province

Applicant before: G-Cloud Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant