CN107623611B - 一种云平台虚拟机的流量监控系统 - Google Patents
一种云平台虚拟机的流量监控系统 Download PDFInfo
- Publication number
- CN107623611B CN107623611B CN201710869029.7A CN201710869029A CN107623611B CN 107623611 B CN107623611 B CN 107623611B CN 201710869029 A CN201710869029 A CN 201710869029A CN 107623611 B CN107623611 B CN 107623611B
- Authority
- CN
- China
- Prior art keywords
- sflow
- flow
- cloud platform
- module
- party
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明涉及云计算技术领域，特别是一种云平台虚拟机的流量监控系统。所述系统包括云平台流量监控服务模块第三方sFlow控制器模块和sFlow流量收集代理模块。云平台流量监控服务模块负责实时与所述第三方sFlow控制器模块交互、统计生成云平台虚拟机的流量信息，接收和响应云平台前端用户的API请求；第三方sFlow控制器模块负责接收与分析由sFlow流量收集代理模块发送过来的sFlow流量数据包；最后sFlow流量收集代理模块部署在云平台的计算节点，负责采样虚拟交换机的数据包并发送给指定的第三方sFlow控制器。本发明满足了云平台实时监控虚拟网络通信的安全需求。
Description
技术领域
本发明涉及云计算技术领域，特别是一种云平台虚拟机的流量监控系统。
背景技术
sFlow
sFlow技术是一种以设备端口为基本单元的数据流采样的流量监控技术。sFlow监控工具由sFlow Agent和sFlow Collector两部分组成，Agent作为客户端，一般内嵌于网络转发设备如交换机、路由器中，通过获取本设备上的接口统计信息和数据信息，将信息封装成sflow报文，然后通过UDP协议发送到指定的Collector。Collector作为远端服务器，负责对sFlow报文分析、汇总、生成流量报告。
目前主流云平台如openstack、cloudstack等都支持使用openvswitch(简称OVS)作为计算节点上的虚拟交换机，云平台虚拟机通过将虚拟端口接入OVS实现网络通信。
发明内容
本发明解决的技术问题在于提供一种云平台虚拟机的流量监控系统，实现对整个云平台上虚拟机的流量监控，满足云平台实时监控虚拟网络通信的安全需求。
本发明解决上述技术问题的技术方案是，
所述的系统包括云平台流量监控服务模块，第三方sFlow控制器模块和sFlow流量收集代理模块；
所述的云平台流量监控服务模块负责实时与所述第三方sFlow控制器模块交互、统计生成云平台虚拟机的流量信息，接收和响应云平台前端用户的API请求；
所述的第三方sFlow控制器模块负责接受sFlow流量收集代理模块上报的采样流量信息并进行分析，包括但不限于sFlow-RT，sFlowTrend；
所述的sFlow流量收集代理模块部署在云平台各个计算节点的虚拟交换机上，负责对虚拟交换机上面的虚拟机端口进行流量采样，并将采样后的信息以sFlow报文的形式上报到所述的第三方sFlow控制器模块。
所述的云平台流量监控服务模块进一步包括sFlow控制器注册子模块、平台虚拟机识别子模块、流量监控服务插件子模块和定时器流量收集子模块四个子模块；
所述的sFlow控制器注册子模块用于记录所述第三方sFlow控制器的相关信息；相关信息包括sFlow控制器访问IP、API访问端口、sFlow监听端口，所负责的各sFlow流量收集代理标识；所述sFlow流量收集代理标识用于唯一标识sFlow流量收集代理，一般为代理所在计算节点的sFlow通信网卡IP；
所述的平台虚拟机识别子模块读取云平台配置文件获取云平台虚拟机的标识信息；所述标识信息可以是云平台虚拟机所使用的专用MAC地址通用段标识，可以是云平台虚拟机所在虚拟网络子网段；
所述的流量监控服务插件子模块用于实现云平台监控流量的API接口服务，规定接口的入参和相应结果参数；所述的API接口服务读取本地流量信息缓存表数据及时反馈给前端用户；
所述的定时器流量收集子模块实现：调用各第三方sFlow控制器API获取其所管理的所有sFlow流量收集代理上的端口流量信息，根据定时获取的sFlow流量信息更新本地流量信息缓存表。
所述的本地流量信息缓存表结构为字典结构数组，每一个元素agent关键字的值为“sFlow控制器标识符_sFlow流量收集代理标识符”，每一个元素flows关键字对应的值为“sFlow流量收集代理定时采样得到的流量信息”；所述的本地流量信息缓存表只保存最近一次汇总的流量信息。
所述的云平台流量监控服务模块可以是一个单独运行在云平台控制节点上面的服务组件，也可以是以插件的形式集成到云平台控制节点虚拟网络控制服务组件里面运行。
本发明方案的有益效果如下：
1、提供一种云平台虚拟机的流量监控系统，实现对整个云平台上虚拟机的流量监控，满足了云平台实时监控虚拟网络通信的安全需求。
2、本发明的子系统基于sFlow通用协议实现，适用于大部分现有云平台，只需要进行简单的扩展即可在现有云平台中实现集成。
附图说明
下面结合附图对本发明进一步说明：
图1为本发明实施例中系统模块架构图；
图2为本发明实施例中基于OVS的虚拟机流量监控示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图1所示，为本发明所提供的一种云平台虚拟机的流量监控系统的模块图，图2为本发明基于OVS实现的一个具体实施例。下面分别对其各个模块的具体实现进行描述。
第三方sFlow控制器模块中，这里以开源控制器sFlow-RT为例进行描述，在任一个云平台计算节点上启动sFlow-RT控制器，具体步骤如下：
wget http：//www.inmon.com/products/sFlow-RT/sflow-rt.tar.gz
tar-xvzf sflow-rt.tar.gz
cd sflow-rt
java -Xincgc -Xmx200m -Dsflow.port＝6343 -Dhttp.port＝8008-Dscript.file＝init.js-jar./lib/sflowrt.jar
如上启动第三方sFlow-RT控制器，监听端口为6343，对外提供API端口为8008。
sFlow流量收集代理模块中，这里以在OVS启动sFlow代理为例进行描述，启动的具体指令如下：
ovs-vsctl----id＝@sflow create sflow agent＝em1 target＝\″20.251.51.107：6343\″header＝128 sampling＝5 polling＝5--set bridge br-intsflow＝@sflow
ovs-vsctl----id＝@sflow create sflow agent＝em1 target＝\″20.251.51.107：6343\″header＝128 sampling＝5 polling＝5--set bridge br-vlansflow＝@sflow
如上我们在计算节点的OVS虚拟交换机br-int和br-vlan上启动sFlow流量收集代理，指定其sFlow控制器为20.251.51.107，控制器上监听sFlow报文的端口为6343。
云平台流量监控服务模块中，sFlow控制器注册子模块记录所述第三方sFlow控制器的相关信息，相关信息包括sFlow控制器访问IP、API访问端口、sFlow监听端口，所负责的各sFlow流量收集代理标识；
所述sFlow流量收集代理标识用于唯一标识sFlow流量收集代理，一般为代理所在计算节点的sFlow通信网卡IP；
如上第三方sFlow控制器中记录的相关信息为：
sFlow控制器访问IP：20.251.51.107
API访问端口：8080
sFlow监听端口：6343
所负责的各sFlow流量收集代理标识：[20.251.51.107，20.251.51.108]。
所述的平台虚拟机识别子模块读取云平台配置文件获取云平台虚拟机的标识信息；
所述标识信息可以是云平台虚拟机所使用的专用MAC地址通用段标识，可以是云平台虚拟机所在虚拟网络子网段。这里以云平台虚拟机MAC地址通用段FA163E为标识，在监控流量分析过程中，MAC地址以FA163E为开始的代表着是虚拟机的通信流量。
所述的定时器流量收集子模块主要功能包括：
定时调用各第三方sFlow控制器API获取其所管理的所有sFlow流量收集代理上的端口流量信息；
根据定时获取的sFlow流量信息更新本地流量信息缓存表。
所述的本地流量信息缓存表结构可以为字典结构数组，每一个元素agent关键字的值为“sFlow控制器标识符_sFlow流量收集代理标识符”，每一个元素flows关键字对应的值为“sFlow流量收集代理定时采样得到的流量信息”。
本地流量信息缓存表示例：
所述的流量监控服务插件子模块用于实现云平台监控流量的API接口服务，规定接口的入参和相应结果参数，如下所示：
前端用户或云平台管理员通过调用云平台监控流量的API接口，系统根据收到的参数，在本地流量信息缓存表中查询指定sFlow agent关键字，并响应对应的流量信息值。
以上所揭露的仅为本发明其中一个实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (3)
1.一种云平台虚拟机的流量监控系统，其特征在于，所述的系统包括云平台流量监控服务模块，第三方sFlow控制器模块和sFlow流量收集代理模块；
所述的云平台流量监控服务模块负责实时与所述第三方sFlow控制器模块交互、统计生成云平台虚拟机的流量信息，接收和响应云平台前端用户的API请求；
所述的第三方sFlow控制器模块负责接受sFlow流量收集代理模块上报的采样流量信息并进行分析，包括但不限于sFlow-RT，sFlowTrend；
所述的sFlow流量收集代理模块部署在云平台各个计算节点的虚拟交换机上，负责对虚拟交换机上面的虚拟机端口进行流量采样，并将采样后的信息以sFlow报文的形式上报到所述的第三方sFlow控制器模块；
所述的云平台流量监控服务模块进一步包括sFlow控制器注册子模块、平台虚拟机识别子模块、流量监控服务插件子模块和定时器流量收集子模块四个子模块；
所述的sFlow控制器注册子模块用于记录所述第三方sFlow控制器的相关信息；相关信息包括sFlow控制器访问IP、API访问端口、sFlow监听端口，所负责的各sFlow流量收集代理标识；所述sFlow流量收集代理标识用于唯一标识sFlow流量收集代理，一般为代理所在计算节点的sFlow通信网卡IP；
所述的平台虚拟机识别子模块读取云平台配置文件获取云平台虚拟机的标识信息；所述标识信息可以是云平台虚拟机所使用的专用MAC地址通用段标识，可以是云平台虚拟机所在虚拟网络子网段；
所述的流量监控服务插件子模块用于实现云平台监控流量的API接口服务，规定接口的入参和相应结果参数；所述的API接口服务读取本地流量信息缓存表数据及时反馈给前端用户；
所述的定时器流量收集子模块实现：调用各第三方sFlow控制器API获取其所管理的所有sFlow流量收集代理上的端口流量信息，根据定时获取的sFlow流量信息更新本地流量信息缓存表。
2.根据权利要求1所述的系统，其特征在于，所述的本地流量信息缓存表结构为字典结构数组，每一个元素agent关键字的值为“sFlow控制器标识符_sFlow流量收集代理标识符”，每一个元素flows关键字对应的值为“sFlow流量收集代理定时采样得到的流量信息”；所述的本地流量信息缓存表只保存最近一次汇总的流量信息。
3.根据权利要求1或2所述的系统，其特征在于，所述的云平台流量监控服务模块可以是一个单独运行在云平台控制节点上面的服务组件，也可以是以插件的形式集成到云平台控制节点虚拟网络控制服务组件里面运行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710869029.7A CN107623611B (zh) | 2017-09-22 | 2017-09-22 | 一种云平台虚拟机的流量监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710869029.7A CN107623611B (zh) | 2017-09-22 | 2017-09-22 | 一种云平台虚拟机的流量监控系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107623611A CN107623611A (zh) | 2018-01-23 |
| CN107623611B true CN107623611B (zh) | 2021-03-02 |
Family
ID=61090379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710869029.7A Active CN107623611B (zh) | 2017-09-22 | 2017-09-22 | 一种云平台虚拟机的流量监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107623611B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110278581B (zh) | 2018-03-16 | 2021-09-28 | 中兴通讯股份有限公司 | 一种无线接入网流量报告方法、装置和系统、存储介质 |
| CN108632378B (zh) * | 2018-05-11 | 2021-04-27 | 国云科技股份有限公司 | 一种面向云平台业务的监控方法 |
| CN109150589A (zh) * | 2018-07-25 | 2019-01-04 | 赛尔网络有限公司 | 基于Open Stack虚拟网络阻塞异常的处理方法及系统 |
| CN109462283A (zh) * | 2018-11-12 | 2019-03-12 | 山东鲁能智能技术有限公司 | 智能变电站单个设备流量监控方法及系统 |
| CN112564994B (zh) * | 2019-09-25 | 2022-05-10 | 北大方正集团有限公司 | 流量监测方法、装置、云服务器及存储介质 |
| CN110855566B (zh) * | 2019-11-26 | 2021-10-29 | 杭州迪普科技股份有限公司 | 上行流量的牵引方法和装置 |
| CN113765826A (zh) * | 2020-06-01 | 2021-12-07 | 中移(苏州)软件技术有限公司 | 一种网络监控方法、平台、装置和计算机可读存储介质 |
| CN112910726A (zh) * | 2021-01-20 | 2021-06-04 | 浪潮云信息技术股份公司 | 云环境流量监控方法、装置及系统 |
| CN113300917B (zh) * | 2021-07-27 | 2021-10-15 | 苏州浪潮智能科技有限公司 | Open Stack租户网络的流量监控方法、装置 |
| CN114070757B (zh) * | 2021-11-15 | 2023-08-08 | 南方电网数字电网研究院有限公司 | 一种云计算管理控制平台用的数据流量变化监控方法 |
| CN116383018B (zh) * | 2023-06-05 | 2023-09-15 | 江苏博云科技股份有限公司 | 自定义流量追踪插件的方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104104548A (zh) * | 2014-08-01 | 2014-10-15 | 哈尔滨工程大学 | 一种基于sflow和owamp的网络安全态势信息获取系统及方法 |
| CN104378264A (zh) * | 2014-12-12 | 2015-02-25 | 武汉噢易云计算有限公司 | 一种基于sFlow的虚拟机进程流量监控方法 |
| CN105681313A (zh) * | 2016-01-29 | 2016-06-15 | 博雅网信(北京)科技有限公司 | 一种针对虚拟化环境的流量检测系统及方法 |
| CN106230660A (zh) * | 2016-07-29 | 2016-12-14 | 锐捷网络股份有限公司 | sFlow采样的方法及装置 |
| CN106254181A (zh) * | 2016-08-16 | 2016-12-21 | 浪潮(北京)电子信息产业有限公司 | 虚拟交换机流量监控的方法、系统及虚拟交换机 |
| CN106330602A (zh) * | 2016-08-22 | 2017-01-11 | 中国科学院信息工程研究所 | 一种云计算虚拟租户网络监控方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102215136B (zh) * | 2010-04-01 | 2013-10-16 | 中国科学院计算技术研究所 | 流量拓扑生成方法和装置 |
| US9065745B2 (en) * | 2011-10-06 | 2015-06-23 | International Business Machines Corporation | Network traffic distribution |
| CN104753946A (zh) * | 2015-04-01 | 2015-07-01 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量元数据的安全分析框架 |
| US10038745B2 (en) * | 2016-02-05 | 2018-07-31 | Vmware, Inc. | Method for monitoring elements of a distributed computing system |
| CN106101163A (zh) * | 2016-08-29 | 2016-11-09 | 北京工业大学 | 基于OpenFlow的网络架构安全监控系统 |
| CN106961367A (zh) * | 2017-05-19 | 2017-07-18 | 济南浪潮高新科技投资发展有限公司 | 基于openstack的云资源监控系统和方法 |
-
2017
- 2017-09-22 CN CN201710869029.7A patent/CN107623611B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104104548A (zh) * | 2014-08-01 | 2014-10-15 | 哈尔滨工程大学 | 一种基于sflow和owamp的网络安全态势信息获取系统及方法 |
| CN104378264A (zh) * | 2014-12-12 | 2015-02-25 | 武汉噢易云计算有限公司 | 一种基于sFlow的虚拟机进程流量监控方法 |
| CN105681313A (zh) * | 2016-01-29 | 2016-06-15 | 博雅网信(北京)科技有限公司 | 一种针对虚拟化环境的流量检测系统及方法 |
| CN106230660A (zh) * | 2016-07-29 | 2016-12-14 | 锐捷网络股份有限公司 | sFlow采样的方法及装置 |
| CN106254181A (zh) * | 2016-08-16 | 2016-12-21 | 浪潮(北京)电子信息产业有限公司 | 虚拟交换机流量监控的方法、系统及虚拟交换机 |
| CN106330602A (zh) * | 2016-08-22 | 2017-01-11 | 中国科学院信息工程研究所 | 一种云计算虚拟租户网络监控方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107623611A (zh) | 2018-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107623611B (zh) | 一种云平台虚拟机的流量监控系统 | |
| US8370369B2 (en) | Method and system for network fault management | |
| US8549119B1 (en) | Error handling for device management configuration and operational data retrieval commands | |
| CN103546343B (zh) | 网络流量分析系统的网络流量展示方法和系统 | |
| EP2001190A2 (en) | Measuring method for network performance and system thereof | |
| GB2430849A (en) | IP Device Management Server and Network System | |
| CN106657434B (zh) | 一种ip地址的查看方法和装置 | |
| CN106655502B (zh) | 获取配电网设备运行状态数据的方法和装置 | |
| EP4084415A1 (en) | Data management method and system, associated subsystem and computer readable medium | |
| CN113542008A (zh) | 一种网络的oam方法及装置 | |
| WO2020000731A1 (zh) | 语音网关的数据采集方法、装置及存储介质、服务器 | |
| US20140337471A1 (en) | Migration assist system and migration assist method | |
| CN107623752B (zh) | 基于链路层的网络管理方法和装置 | |
| CN104219100A (zh) | 一种信息采集方法和装置 | |
| WO2009038384A1 (en) | Query processing system and methods for a database with packet information by dividing a table and query | |
| CN113014573B (zh) | Dns服务器的监控方法、系统、电子装置和存储介质 | |
| CN110290234A (zh) | 节点地址溯源的方法、装置、系统、设备和存储介质 | |
| CN105207834A (zh) | 一种报文采集方法、系统、网络设备及网管中心 | |
| AU2018222892A1 (en) | Data collection method, data transmission method, data collection device and network device | |
| CN101136769B (zh) | 自动配置adsl终端设备的方法和系统 | |
| Martsola et al. | Machine to machine communication in cellular networks | |
| CN101945007B (zh) | 一种动态ip接入设备的监控方法 | |
| JP4917620B2 (ja) | バックボーン網におけるトラヒック情報収集方法、トラヒック情報収集装置、及びプログラム | |
| CN101662391B (zh) | 基于简单网络管理协议版本3的以太网交换机集群管理方法 | |
| CN103236943B (zh) | 网络运维服务支持系统进行网络运维服务的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 19 / F, Cloud Computing Center, Chinese Academy of Sciences, No.1 Kehui Road, Songshanhu, Dongguan, Guangdong, 523808 Applicant after: G-CLOUD TECHNOLOGY Co.,Ltd. Address before: 523808 No. 14 Building, Songke Garden, Songshan Lake Science and Technology Industrial Park, Dongguan City, Guangdong Province Applicant before: G-CLOUD TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |