CN112437072A - 一种云平台中虚拟机流量牵引系统、方法、设备及介质 - Google Patents

一种云平台中虚拟机流量牵引系统、方法、设备及介质 Download PDF

Info

Publication number
CN112437072A
CN112437072A CN202011285134.4A CN202011285134A CN112437072A CN 112437072 A CN112437072 A CN 112437072A CN 202011285134 A CN202011285134 A CN 202011285134A CN 112437072 A CN112437072 A CN 112437072A
Authority
CN
China
Prior art keywords
flow
module
traffic
cloud platform
virtual machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011285134.4A
Other languages
English (en)
Inventor
李汉林
张阳
吴远明
温振环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vcmy Guangzhou Technology Shares Co ltd
Original Assignee
Vcmy Guangzhou Technology Shares Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vcmy Guangzhou Technology Shares Co ltd filed Critical Vcmy Guangzhou Technology Shares Co ltd
Priority to CN202011285134.4A priority Critical patent/CN112437072A/zh
Publication of CN112437072A publication Critical patent/CN112437072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4633—Interconnection of networks using encapsulation techniques, e.g. tunneling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0263—Rule management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种云平台中虚拟机流量牵引系统、方法、设备及介质，系统包括：包括：集中控制器模块、流量采集模块和流量汇聚与分发模块；集中控制器模块，用于下发流量采集指令至流量采集模块；流量采集模块部署在云平台中的每台宿主机上，用于采集宿主机的流量，并通过Vxlan隧道的方式将流量牵引到流量汇聚与分发模块；流量汇聚与分发模块，用于汇聚流量采集模块采集的流量，并分发流量至分析设备，解决了现有技术在物理边界部署TAP，只能采集南北向出口的流量，无法采集云平台中虚拟机产生的东西向流量的技术问题。

Description

一种云平台中虚拟机流量牵引系统、方法、设备及介质
技术领域
本申请涉及流量牵引技术领域，尤其涉及一种云平台中虚拟机流量牵引系统、方法、设备及介质。
背景技术
在数据中心，网络流量通常分为两种类型，一种是数据中心外部用户与内部服务器之间交互的流量，称为南北向流量或者纵向流量，另一种为数据中心内部服务器之间交互的流量，即云平台中虚拟机之间通信的流量，称为东西向流量或者横向流量。随着云计算的到来，越来越丰富的业务对数据中心的流量模型产生了巨大的冲击，如搜索、并行计算等业务，需要大量的服务器组成集群系统，协同完成工作，这导致服务器之间的流量变得非常大。
现有技术中的TAP通常只能部署在物理边界，采集南北向出口的流量，无法采集云平台中虚拟机产生的东西向流量，无法提供监控分析数据，造成虚拟流量可视化的盲点。
发明内容
本申请提供了一种云平台中虚拟机流量牵引系统、方法、设备及介质，用于解决现有技术在物理边界部署TAP，只能采集南北向出口的流量，无法采集云平台中虚拟机产生的东西向流量的技术问题。
有鉴于此，本申请第一方面提供了一种云平台中虚拟机流量牵引系统，包括：
集中控制器模块、流量采集模块和流量汇聚与分发模块；
所述集中控制器模块，用于下发流量采集指令至所述流量采集模块；
所述流量采集模块部署在云平台中的每台宿主机上，用于采集所述宿主机的流量，并通过Vxlan隧道的方式将所述流量牵引到所述流量汇聚与分发模块；
所述流量汇聚与分发模块，用于汇聚所述流量采集模块采集的所述流量，并分发所述流量至分析设备。
可选的，所述流量采集模块包括：第一流量采集模块和第二流量采集模块；
所述第一流量采集模块以虚拟机的方式部署在Vmware平台的每台宿主机上，用于调用所述Vmware平台的分布式端口镜像接口复制所述宿主机的流量，并通过Vxlan隧道的方式将所述流量牵引到所述流量汇聚与分发模块；
所述第二流量采集模块以用户态进程方式部署在openstack平台的每台宿主机上，用于基于packet_mmap零拷贝技术采集所述宿主机的流量，并通过Vxlan隧道的方式将所述流量牵引到所述流量汇聚与分发模块。
可选的，所述流量采集模块与所述集中控制器模块通过openflow协议连接。
可选的，所述流量采集指令携带有流量采集策略，所述流量采集策略包括ACL过滤规则；
相应的，所述流量采集模块还用于：
基于所述ACL过滤规则对报文进行过滤。
本申请第二方面提供了一种云平台中虚拟机流量牵引方法，应用于第一方面任一种所述的云平台中虚拟机流量牵引系统，包括：
通过集中控制器模块下发流量采集指令至流量采集模块，其中，所述流量采集模块部署在云平台中的每台宿主机上；
通过所述流量采集模块采集宿主机的流量，并通过Vxlan隧道的方式将所述流量牵引到流量汇聚与分发模块；
通过所述流量汇聚与分发模块汇聚所述流量采集模块采集的所述流量，并分发所述流量至分析设备。
可选的，所述流量采集模块包括：第一流量采集模块和第二流量采集模块；
其中，所述第一流量采集模块以虚拟机的方式部署在Vmware平台的每台宿主机上，所述第二流量采集模块以用户态进程方式部署在openstack平台的每台宿主机上；
相应的，所述通过所述流量采集模块采集宿主机的流量，具体包括：
通过所述第一流量采集模块调用所述Vmware平台的分布式端口镜像接口复制所述宿主机的流量；
通过所述第二流量采集模块基于packet_mmap零拷贝技术采集所述宿主机的流量。
可选的，所述通过集中控制器模块下发流量采集指令至流量采集模块，之前还包括：
对所述Vmware平台和所述openstack平台进行初始化。
可选的，所述通过所述流量采集模块采集宿主机的流量，并通过Vxlan隧道的方式将所述流量牵引到流量汇聚与分发模块，之前还包括：
对所述流量采集模块和所述流量汇聚与分发模块进行同网段Vxlan配置。
本申请第三方面提供了一种云平台中虚拟机流量牵引设备，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第二方面任一种所述的云平台中虚拟机流量牵引方法。
本申请第四方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第二方面任一种所述的云平台中虚拟机流量牵引方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种云平台中虚拟机流量牵引系统，包括：集中控制器模块、流量采集模块和流量汇聚与分发模块；集中控制器模块，用于下发流量采集指令至流量采集模块；流量采集模块部署在云平台中的每台宿主机上，用于采集宿主机的流量，并通过Vxlan隧道的方式将流量牵引到流量汇聚与分发模块；流量汇聚与分发模块，用于汇聚流量采集模块采集的流量，并分发流量至分析设备。
本申请中，通过集中控制器模块下发流量采集指令，并在云平台中的每台宿主机上部署流量采集模块，通过流量采集模块采集云平台中每台宿主机的流量，并通过Vxlan隧道进行流量牵引，将云平台中虚拟机的东西向流量牵引到流量汇聚与分发模块，不需在原有设备上新增物理端口来进行流量牵引，最终通过流量汇聚与分发模块对采集的流量进行汇聚并分发到相应的分析设备进行数据分析，避免了虚拟流量可视化的盲点问题，从而解决了现有技术在物理边界部署TAP，只能采集南北向出口的流量，无法采集云平台中虚拟机产生的东西向流量的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种云平台中虚拟机流量牵引系统的一个结构示意图；
图2为本申请实施例提供的一种云平台中虚拟机流量牵引方法的一个流程示意图。
具体实施方式
本申请提供了一种云平台中虚拟机流量牵引系统、方法、设备及介质，用于解决现有技术在物理边界部署TAP，只能采集南北向出口的流量，无法采集云平台中虚拟机产生的东西向流量的技术问题。其中，这里的对东西向流量进行牵引，主要是将流量牵引到第三方分析设备，进行一系列安全、审计等操作，提高数据中心的安全、性能、审计等要求。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的一种云平台中虚拟机流量牵引系统的一个实施例，包括：集中控制器模块、流量采集模块和流量汇聚与分发模块；
集中控制器模块，用于下发流量采集指令至流量采集模块；流量采集模块部署在云平台中的每台宿主机上，用于采集宿主机的流量，并通过Vxlan隧道的方式将流量牵引到流量汇聚与分发模块；流量汇聚与分发模块，用于汇聚流量采集模块采集的流量，并分发流量至分析设备。
本申请实施例在云平台中的每台宿主机上部署流量采集模块，以采集东西向流量，主要在Vmware平台和openstack平台中的宿主机上部署流量采集模块。
进一步，流量采集模块包括：第一流量采集模块和第二流量采集模块；
第一流量采集模块以虚拟机的方式部署在Vmware平台的每台宿主机上，用于调用Vmware平台的分布式端口镜像接口复制宿主机的流量，并通过Vxlan隧道的方式将流量牵引到流量汇聚与分发模块；
第二流量采集模块以用户态进程方式部署在openstack平台的每台宿主机上，用于基于packet_mmap零拷贝技术采集宿主机的流量，并通过Vxlan隧道的方式将流量牵引到流量汇聚与分发模块。
由于Vmware是闭源系统，只能从其支持的功能上进行流量采集，在VmwarevSphere 5及以上版本中，分布式交换机提供了端口镜像功能，可以采集所需要监控虚拟机之间的流量。本申请实施例中的第一流量采集模块以虚拟机的方式部署在每台宿主机上，该虚拟机只需消耗1G内存。具体的，在进入Vmware环境后，可以新建一台ovs+dpdk的vtap虚拟设备，得到第一流量采集模块；然后配置该Vmware平台中的所有虚拟机，vtap虚拟设备(第一流量采集模块)接收到集中控制器模块下发的流量采集指令后，通过预设的宿主机的脚本，调用vsphere分布式端口镜像接口复制宿主机的流量到该vtap虚拟设备(第一流量采集模块)上；进一步，第一流量采集模块可以倒计时，达到预置时间(例如10分钟、15分钟等)后，停止采集流量；最终，第一流量采集模块通过Vxlan隧道的方式将流量牵引到流量汇聚与分发模块。
在openstack平台中，第二流量采集模块可以以一个用户态进程方式部署在openstack平台的每台宿主机上，通过MMAP映射高效地抓取宿主机的报文，进入openstack环境后，可以通过packet_mmap零拷贝技术，直接从网卡驱动中抓取原始数据包，相比于通过端口镜像采集流量，其性能会提升很多。具体的，第二流量采集模块接收到集中控制器模块下发的流量采集指令后，打开packet_mmap采集到宿主机的流量，还可以开始倒计时，达到预置时间(例如10分钟、15分钟等)后，停止采集流量；最终，通过Vxlan隧道的方式将流量牵引到流量汇聚与分发模块。
集中控制器模块可以采用OSGI框架，以实现模块化和可扩展化，集中控制器模块向应用层提供北向接口，应用层通过集中控制器模块收集信息，做分析，部署新的网络规则等，南向接口可支持多种协议，例如，openflow1.0、openflow1.3、NETCONF、LISP、BGP、PCEP和SNMP等。
集中控制器模块与流量采集模块通过openflow协议连接，集中控制器模块通过openflow协议控制所有的流量采集模块，通过页面下发流量采集指令到流量采集模块，其中，流量采集指令携带有流量采集策略，流量采集策略包括ACL过滤规则，以进行五元组流表过滤。流量采集模块基于ACL过滤规则对报文进行过滤，可以过滤出特定的报文，具体的，流量采集模块可以根据集中控制器模块下发的流表格式，过滤除了目的IP为1.1.1.1的报文。
流量采集模块通过Vxlan隧道的方式将流量引出到流量汇聚与分发模块，其中，Vxlan隧道配置如下：
(1)流量采集模块配置同网段Vxlan：
ovs-vsctl--may-exist add-br br0\
--set Bridge br0 datapath_type＝netdev\
--br-set-external-id br0 bridge-id br0\
--set bridge br0 fail-mode＝standalone
ovs-vsctl add-port br0 vxlan0\
--set interface vxlan0 type＝vxlan options:remote_ip＝172.168.1.2
ovs-vsctl--may-exist add-br br1\
--set Bridge br1 datapath_type＝netdev\
--br-set-external-id br1 bridge-id br1\
--set bridge br1 fail-mode＝standalone\
other_config:hwaddr＝c4:00:ad:a2:02:d4#MAC地址为dpdk0网卡的mac地址
ovs-vsctl--timeout 10add-port br1 dpdk0\
--set Interface dpdk0 type＝dpdk options:dpdk-devargs＝0000:08:00.0
ip addr add 172.168.1.1/24dev br1
ip link set br1 up
ip addr add 10.10.10.100/24dev br0
ip link set br0 up
iptables-F
使用ovs创建一个网桥br0，该网桥作为vxlan隧道的端点；vxlan0是流量出流量采集模块的接口，将vxlan0端口加入到br0中，创建vxlan隧道，并配置隧道另外一端物理汇聚tap(流量汇聚与分发模块)的ip地址(172.168.1.2)；使用ovs创建一个网桥br1，该网桥绑定dpdk0网卡；将dpdk0端口加入到br1中；给网桥br1添加IP地址段(172.168.1.1/24)；启动网桥br1；给网桥br0添加IP地址段(10.10.10.100/24)；启动网桥br0。
(2)流量汇聚与分发模块配置同网段Vxlan：
ovs-vsctl--may-exist add-br br0\
--set Bridge br0 datapath_type＝netdev\
--br-set-external-id br0 bridge-id br0\
--set bridge br0 fail-mode＝standalone
ovs-vsctl add-port br0 vxlan0\
--set interface vxlan0 type＝vxlan options:remote_ip＝172.168.1.1
ovs-vsctl--may-exist add-br br1\
--set Bridge br1 datapath_type＝netdev\
--br-set-external-id br1 bridge-id br1\
--set bridge br1 fail-mode＝standalone\
other_config:hwaddr＝00:0c:29:d3:ba:cf
ovs-vsctl--timeout 10add-port br1 dpdk0\
--set Interface dpdk0 type＝dpdk options:dpdk-devargs＝0000:02:02.0
ip addr add 172.168.1.2/24dev br1
ip link set br1 up
ip addr add 10.10.10.200/24dev br0
ip link set br0 up
iptables-F
使用ovs创建一个网桥br0，该网桥作为vxlan隧道的端点；vxlan0是流量流入物理汇聚tap(即流量汇聚与分发模块)的接口，将vxlan0端口加入到br0中，创建vxlan隧道，并配置隧道另外一端流量采集模块的ip地址(172.168.1.1)；使用ovs创建一个网桥br1，该网桥绑定dpdk0网卡；将dpdk0端口加入到br1中；给网桥br1添加IP地址段(172.168.1.2/24)；启动网桥br1；给网桥br0添加IP地址段(10.10.10.200/24)；启动网桥br0。
流量汇聚与分发模块将多个流量采集模块采集的流量汇聚在一起后，再根据实际情况分发流量至一台或多台分析设备，例如分发到安全分析设备、性能分析设备或审计分析设备等。
本申请实施例中，通过集中控制器模块下发流量采集指令，并在云平台中的每台宿主机上部署流量采集模块，通过流量采集模块采集云平台中每台宿主机的流量，并通过Vxlan隧道进行流量牵引，将云平台中虚拟机的东西向流量牵引到流量汇聚与分发模块，不需在原有设备上新增物理端口来进行流量牵引，最终通过流量汇聚与分发模块对采集的流量进行汇聚并分发到相应的分析设备进行数据分析，避免了虚拟流量可视化的盲点问题，从而解决了现有技术在物理边界部署TAP，只能采集南北向出口的流量，无法采集云平台中虚拟机产生的东西向流量的技术问题。
进一步，本申请实施例通过在Vmware平台和openstack平台中部署流量采集模块，使得流量采集模块可以采集到不同虚拟环境中的东西向流量，可以解决数据中心的Vmware平台和openstack平台的东西向流量牵引问题；通过流量汇聚与分发模块对流量采集模块采集的流量进行汇聚和分发，可以解决数据中心中不同平台中东西向流量汇聚与分发的问题。
以上为本申请提供的一种云平台中虚拟机流量牵引系统的一个实施例，以下为本申请提供的一种云平台中虚拟机流量牵引方法的一个实施例。
请参考图2，本申请实施例提供的一种云平台中虚拟机流量牵引方法，应用于前述实施例中的一种云平台中虚拟机流量牵引系统，包括：
步骤201、通过集中控制器模块下发流量采集指令至流量采集模块，其中，流量采集模块部署在云平台中的每台宿主机上。
集中控制器模块通过openflow控制所有的流量采集模块，通过页面下发流量采集指令至流量采集模块，其中，流量采集指令携带有流量采集策略，流量采集策略包括ACL过滤规则，以进行五元组流表过滤。流量采集模块基于ACL过滤规则对报文进行过滤，可以过滤出特定的报文，具体的，流量采集模块可以根据集中控制器模块下发的流表格式，过滤除了目的IP为1.1.1.1的报文。
通过在云平台的宿主机上部署流量采集模块来采集宿主机的流量，主要在Vmware平台和openstack平台中的宿主机上部署流量采集模块。
进一步，流量采集模块包括：第一流量采集模块和第二流量采集模块；第一流量采集模块以虚拟机的方式部署在Vmware平台的每台宿主机上，第二流量采集模块以用户态进程方式部署在openstack平台的每台宿主机上。
具体的，进入Vmware环境中，可以新建一台ovs+dpdk的vtap虚拟设备，得到第一流量采集模块；然后配置该Vmware平台中的所有虚拟机，使得vtap虚拟设备(第一流量采集模块)接收到集中控制器模块下发的流量采集指令后，通过预设的宿主机的脚本，调用vsphere分布式端口镜像接口复制宿主机的流量到该vtap虚拟设备(第一流量采集模块)上。
在openstack平台中，第二流量采集模块可以以一个用户态进程方式部署在openstack平台的每台宿主机上，通过MMAP映射高效地抓取宿主机的报文，进入openstack环境后，可以通过packet_mmap零拷贝技术，直接从网卡驱动中抓取原始数据包，相比于通过端口镜像采集流量，其性能会提升很多。
进一步，通过集中控制器模块下发流量采集指令至流量采集模块，之前还包括：
对Vmware平台和openstack平台进行初始化。
步骤202、通过流量采集模块采集宿主机的流量，并通过Vxlan隧道的方式将流量牵引到流量汇聚与分发模块。
通过第一流量采集模块调用Vmware平台的分布式端口镜像接口复制宿主机的流量；通过第二流量采集模块基于packet_mmap零拷贝技术采集宿主机的流量。具体的，vtap虚拟设备(第一流量采集模块)接收到集中控制器模块下发的流量采集指令后，通过预设的宿主机的脚本，调用vsphere分布式端口镜像接口复制宿主机的流量到该vtap虚拟设备(第一流量采集模块)上；进一步，第一流量采集模块可以倒计时，达到预置时间(例如10分钟、15分钟等)后，停止采集流量；最终，第一流量采集模块通过Vxlan隧道的方式将流量牵引到流量汇聚与分发模块。第二流量采集模块接收到集中控制器模块下发的流量采集指令后，打开packet_mmap采集宿主机的流量，还可以开始倒计时，达到预置时间(例如10分钟、15分钟等)后，停止采集流量；最终，通过Vxlan隧道的方式将流量牵引到流量汇聚与分发模块。
进一步，通过流量采集模块采集宿主机的流量，并通过Vxlan隧道的方式将流量牵引到流量汇聚与分发模块，之前还包括：
对流量采集模块和流量汇聚与分发模块进行同网段Vxlan配置。具体的配置过程可以参考前述系统实施例中的同网段Vxlan配置过程，在此不再进行赘述。
步骤203、通过流量汇聚与分发模块汇聚流量采集模块采集的流量，并分发流量至分析设备。
各流量采集模块的流量通过Vxlan隧道汇聚到流量汇聚与分发模块后，根据实际情况将流量分发到下面的分析设备上。
本申请实施例中，通过集中控制器模块下发流量采集指令，并在云平台中的每台宿主机上部署流量采集模块，通过流量采集模块采集云平台中每台宿主机的流量，并通过Vxlan隧道进行流量牵引，将云平台中虚拟机的东西向流量牵引到流量汇聚与分发模块，不需在原有设备上新增物理端口来进行流量牵引，最终通过流量汇聚与分发模块对采集的流量进行汇聚并分发到相应的分析设备进行数据分析，避免了虚拟流量可视化的盲点问题，从而解决了现有技术在物理边界部署TAP，只能采集南北向出口的流量，无法采集云平台中虚拟机产生的东西向流量的技术问题。
进一步，本申请实施例通过在Vmware平台和openstack平台中部署流量采集模块，使得流量采集模块可以采集到不同虚拟环境中的东西向流量，可以解决数据中心的Vmware平台和openstack平台的东西向流量牵引问题；通过流量汇聚与分发模块对流量采集模块采集的流量进行汇聚和分发，可以解决数据中心中不同平台中东西向流量汇聚与分发的问题。
本申请实施例还提供了一种云平台中虚拟机流量牵引设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行前方法实施例中的云平台中虚拟机流量牵引方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述方法实施例中的云平台中虚拟机流量牵引方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述方法的具体实施过程，可以参考前述系统实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种云平台中虚拟机流量牵引系统，其特征在于，包括：集中控制器模块、流量采集模块和流量汇聚与分发模块；
所述集中控制器模块，用于下发流量采集指令至所述流量采集模块；
所述流量采集模块部署在云平台中的每台宿主机上，用于采集所述宿主机的流量，并通过Vxlan隧道的方式将所述流量牵引到所述流量汇聚与分发模块；
所述流量汇聚与分发模块，用于汇聚所述流量采集模块采集的所述流量，并分发所述流量至分析设备。
2.根据权利要求1所述的云平台中虚拟机流量牵引系统，其特征在于，所述流量采集模块包括：第一流量采集模块和第二流量采集模块；
所述第一流量采集模块以虚拟机的方式部署在Vmware平台的每台宿主机上，用于调用所述Vmware平台的分布式端口镜像接口复制所述宿主机的流量，并通过Vxlan隧道的方式将所述流量牵引到所述流量汇聚与分发模块；
所述第二流量采集模块以用户态进程方式部署在openstack平台的每台宿主机上，用于基于packet_mmap零拷贝技术采集所述宿主机的流量，并通过Vxlan隧道的方式将所述流量牵引到所述流量汇聚与分发模块。
3.根据权利要求1所述的云平台中虚拟机流量牵引系统，其特征在于，所述流量采集模块与所述集中控制器模块通过openflow协议连接。
4.根据权利要求1所述的云平台中虚拟机流量牵引系统，其特征在于，所述流量采集指令携带有流量采集策略，所述流量采集策略包括ACL过滤规则；
相应的，所述流量采集模块还用于：
基于所述ACL过滤规则对报文进行过滤。
5.一种云平台中虚拟机流量牵引方法，其特征在于，应用于权利要求1-4任一项所述的云平台中虚拟机流量牵引系统，包括：
通过集中控制器模块下发流量采集指令至流量采集模块，其中，所述流量采集模块部署在云平台中的每台宿主机上；
通过所述流量采集模块采集宿主机的流量，并通过Vxlan隧道的方式将所述流量牵引到流量汇聚与分发模块；
通过所述流量汇聚与分发模块汇聚所述流量采集模块采集的所述流量，并分发所述流量至分析设备。
6.根据权利要求5所述的云平台中虚拟机流量牵引方法，其特征在于，所述流量采集模块包括：第一流量采集模块和第二流量采集模块；
其中，所述第一流量采集模块以虚拟机的方式部署在Vmware平台的每台宿主机上，所述第二流量采集模块以用户态进程方式部署在openstack平台的每台宿主机上；
相应的，所述通过所述流量采集模块采集宿主机的流量，具体包括：
通过所述第一流量采集模块调用所述Vmware平台的分布式端口镜像接口复制所述宿主机的流量；
通过所述第二流量采集模块基于packet_mmap零拷贝技术采集所述宿主机的流量。
7.根据权利要求6所述的云平台中虚拟机流量牵引方法，其特征在于，所述通过集中控制器模块下发流量采集指令至流量采集模块，之前还包括：
对所述Vmware平台和所述openstack平台进行初始化。
8.根据权利要求5所述的云平台中虚拟机流量牵引方法，其特征在于，所述通过所述流量采集模块采集宿主机的流量，并通过Vxlan隧道的方式将所述流量牵引到流量汇聚与分发模块，之前还包括：
对所述流量采集模块和所述流量汇聚与分发模块进行同网段Vxlan配置。
9.一种云平台中虚拟机流量牵引设备，其特征在于，所述设备包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求5-8任一项所述的云平台中虚拟机流量牵引方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求5-8任一项所述的云平台中虚拟机流量牵引方法。
CN202011285134.4A 2020-11-17 2020-11-17 一种云平台中虚拟机流量牵引系统、方法、设备及介质 Pending CN112437072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011285134.4A CN112437072A (zh) 2020-11-17 2020-11-17 一种云平台中虚拟机流量牵引系统、方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011285134.4A CN112437072A (zh) 2020-11-17 2020-11-17 一种云平台中虚拟机流量牵引系统、方法、设备及介质

Publications (1)

Publication Number Publication Date
CN112437072A true CN112437072A (zh) 2021-03-02

Family

ID=74700766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011285134.4A Pending CN112437072A (zh) 2020-11-17 2020-11-17 一种云平台中虚拟机流量牵引系统、方法、设备及介质

Country Status (1)

Country Link
CN (1) CN112437072A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542160A (zh) * 2021-05-27 2021-10-22 贵州电网有限责任公司 一种基于sdn的云内东西向流量牵引方法与系统
CN114285629A (zh) * 2021-12-22 2022-04-05 中国人民银行清算总中心 Sdn同区域数据流访问控制方法及sdn网络
CN114363035A (zh) * 2021-12-30 2022-04-15 绿盟科技集团股份有限公司 一种流量牵引方法及装置
CN114615022A (zh) * 2022-02-17 2022-06-10 奇安信科技集团股份有限公司 云内流量牵引方法及装置
CN116455680A (zh) * 2023-06-19 2023-07-18 卓望数码技术（深圳）有限公司 云平台的tcp全流量采集和聚合方法、系统及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104917653A (zh) * 2015-06-26 2015-09-16 北京奇虎科技有限公司 基于云平台的虚拟化流量监控方法及装置
CN108449227A (zh) * 2018-03-01 2018-08-24 广东睿江云计算股份有限公司 一种基于ovs的流量数据采集方法
CN111371640A (zh) * 2020-02-24 2020-07-03 深圳供电局有限公司 一种基于sdn控制器的流量采集分析方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104917653A (zh) * 2015-06-26 2015-09-16 北京奇虎科技有限公司 基于云平台的虚拟化流量监控方法及装置
CN108449227A (zh) * 2018-03-01 2018-08-24 广东睿江云计算股份有限公司 一种基于ovs的流量数据采集方法
CN111371640A (zh) * 2020-02-24 2020-07-03 深圳供电局有限公司 一种基于sdn控制器的流量采集分析方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
兰庆白: "云环境下的网络流量采集探索与实践", 《金融电子化》 *
孙聪: "基于SDN技术的KVM虚拟机跨网段迁移研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
常甫: "OpenFlow交换机的远程配置与管理系统设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542160A (zh) * 2021-05-27 2021-10-22 贵州电网有限责任公司 一种基于sdn的云内东西向流量牵引方法与系统
CN114285629A (zh) * 2021-12-22 2022-04-05 中国人民银行清算总中心 Sdn同区域数据流访问控制方法及sdn网络
CN114363035A (zh) * 2021-12-30 2022-04-15 绿盟科技集团股份有限公司 一种流量牵引方法及装置
CN114615022A (zh) * 2022-02-17 2022-06-10 奇安信科技集团股份有限公司 云内流量牵引方法及装置
CN116455680A (zh) * 2023-06-19 2023-07-18 卓望数码技术（深圳）有限公司 云平台的tcp全流量采集和聚合方法、系统及计算机设备
CN116455680B (zh) * 2023-06-19 2023-10-13 卓望数码技术（深圳）有限公司 云平台的tcp全流量采集和聚合方法、系统及计算机设备

Similar Documents

Publication Publication Date Title
CN112437072A (zh) 一种云平台中虚拟机流量牵引系统、方法、设备及介质
CN109802852B (zh) 应用于网络靶场的网络仿真拓扑的构建方法及系统
US9385923B2 (en) Configuration management method of logical topology in virtual network and management server
JP5941703B2 (ja) 管理サーバ及び管理方法
US10148556B2 (en) Link aggregation group (LAG) support on a software-defined network (SDN)
EP2774048B1 (en) Affinity modeling in a data center network
CN103026660A (zh) 网络策略配置方法、管理设备以及网络管理中心设备
US9641389B2 (en) Method and system for recovering from network disconnects by cloning a virtual port
CN111371640B (zh) 一种基于sdn控制器的流量采集分析方法及系统
TW202038585A (zh) 具有分解式網路元件的邏輯路由器
CN103534987B (zh) 用于配置虚拟网络配置的方法和系统
CN104601482A (zh) 流量清洗方法和装置
US20160156539A1 (en) Smart Migration of Monitoring Constructs and Data
CN114422010B (zh) 一种基于网络虚拟化的卫星通信仿真平台的协议测试方法
CN111953661A (zh) 一种基于sdn的东西向流量安全防护方法及其系统
CN110493062A (zh) 一种基于Mininet的电力通信网的仿真平台
US10608942B1 (en) Reducing routes based on network traffic utilization
CN104618246A (zh) 一种面向xen虚拟化环境的网络拓扑发现方法
CN110636059B (zh) 网络攻击防御系统、方法、sdn控制器、路由器、设备及介质
Maloo et al. Cisco Data Center Fundamentals
CN109587063A (zh) 一种数据的引流方法及装置
CN109274571B (zh) 一种追溯虚拟局域组网中设备的方法、装置以及设备
US11563640B2 (en) Network data extraction parser-model in SDN
CN110493210B (zh) 一种基于sdn的可配置网络安全实验系统
CN115484171A (zh) 基于虚拟机与容器融合的网络拓扑创建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210302