CN110378103B - 一种基于OpenFlow协议的微隔离防护方法及系统 - Google Patents

Abstract

本发明公开了一种基于OpenFlow协议的微隔离防护方法及系统，属于互联网技术领域，解决现有技术中针对海量虚拟机网络东西流量访问控制，要么耗费带宽进行引流，要么产生负载、与客户机竞争资源的问题。本发明通过获得的持续化的流表获取虚拟机间的网络通联关系；基于网络通联关系，利用改进的MCL算法将所有虚拟机分成多个微隔离组；针对每个微隔离组、虚拟机运行服务所必需的通信端口，以及虚拟机预定义的服务类型生成针对微隔离组和微隔离组内虚拟机的隔离策略。本发明用于虚拟化环境下，由多台VM构建的虚拟网络进行微隔离防护。

Description

一种基于OpenFlow协议的微隔离防护方法及系统

技术领域

一种基于OpenFlow协议的微隔离防护方法及系统，用于虚拟化环境下，由多台VM构建的虚拟网络进行微隔离防护，属于互联网技术领域。

背景技术

随着虚拟化技术的发展，越来越多的企业改变原有硬件服务器的部署策略转而采用数据中心虚拟化的解决方案。虚拟化技术可以让一台物理服务器变成几台甚至几百台相互隔离的虚拟主机，把物理资源(诸如CPU、内存、磁I/O等)变成可以动态管理的“资源池”，根据需求动态划分给多台逻辑虚拟机使用，提高资源利用率、降低成本的同时也带来一些新的安全问题。比如，虚拟机之间缺乏安全隔离，东西流量对防火墙不可见等。传统的基于物理边界节点的防护机制控制着内部网络与外部网络的唯一通道，它与虚拟主机之间是松耦合关系，一旦边界防火墙被攻破，内部的虚拟主机将完全暴露在外部攻击者面前，整个内网等同于完全沦陷，任由攻击者宰割。因此，如何加强东西流量安全防护，是当前虚拟化安全领域亟待解决的问题。现有的方法包括主机代理和引流两种方式。

基于主机代理的微隔离方案的实现是通过在每台虚拟主机中安装监控软件实现，该软件运行在较高特权级(可与内核模块相结合)，可以捕获系统运行时的状态，截获所有出入的流量，阻止恶意程序的执行等等。其优点在于它可以方便的通过系统调用实现相应的隔离功能，视程序的复杂度而定，可以自动识别服务器所运行服务的数量类型及相关信息，通过拓扑图展现服务器业务关系及逻辑结构，通过业务拓扑图能细粒度控制每台主机与外部及业务内部网络间的网络通信，有效防止攻击者入侵内部业务网络后的东西向移动，同时可自定义基于角色的访问控制策略，可帮助管理快速配置海量服务器的访问规则。但是不足之处在于，需要消耗虚拟机资源，一般防护功能越复杂所需要的处理器资源越多，这就造成正常程序与代理程序竞争虚拟机资源，再者主机代理程序因为与客户机程序同处于虚拟机环境下，容易受到攻击而失去原先的防护功能，而且代理程序也需要根据虚拟机操作系统类型分别开发适合的软件。

基于引流的微隔离方案的实现方式是通过将所有虚拟机的网关设定为同一台虚拟机(或物理主机)将其作为网关，这样所有的虚拟机流量都会经过网关过滤，入站出站的所有流量只有符合过滤规则才能通过。此种方法优点在于其易用性，不需要考虑虚拟机的系统类型，使用简单，所有的功能都由代理实现，不需要消耗虚拟机自身软硬件资源，单点管控，自动化部署，易用性强。不足之处在于，任意虚拟机之间(也许位于同一计算节点)的通信仍然需要经过网关，增大了通信时延，加剧带宽资源的消耗，尤其是网关的运行负载，不单单要处理域内东西流量同时还作为南北流量的出入口，这样就更增大了通信时延，带宽资源的消耗。传统安全解决方案与基于引流的微隔离方案也是如此，差别在于，传统物理防火墙部署中物理防火墙设备可以通过硬件架构特性提高计算性能等优化实现防火墙功能的增强。而基于引流的微隔离方案在虚拟化多变需求的环境下，一旦大流量产生负载加大，微隔离网关将成为整个系统的瓶颈和故障易发点。

再者，传统安全解决方案(传统安全解决方案指的是针对的是物理网络的安全防护，典型的硬件防火墙、入侵检测系统等)是专为物理网络环境而设计的，并不能有效地接入东西向流量的环境中，所以它们往往需要将东西向流量引流到防火墙、深度报文检测、入侵防御，以及防病毒等服务链中去。这种流量重定向和静态安全服务链的方案对于保护东西向流量存在效率低，延迟大，容易成为性能瓶颈进而造成响应时间缓慢和网络掉线等问题。

发明内容

针对上述研究的问题，本发明的目的在于提供一种基于OpenFlow协议的微隔离防护方法及系统，解决现有技术中针对海量虚拟机网络东西流量访问控制，要么耗费带宽进行引流，要么产生负载、与用户机竞争资源的问题。

为了达到上述目的，本发明采用如下技术方案：

一种基于OpenFlow协议的微隔离防护方法，包括如下步骤：

S1、通过获得虚拟局域网内的持续化的流表获取虚拟机间的网络通联关系；

S2、基于网络通联关系，周期性利用改进的马尔可夫聚类算法将所有虚拟机分成多个微隔离组；

S3、针对每个微隔离组、虚拟机运行服务所必需的通信端口，以及虚拟机预定义的服务类型生成针对微隔离组和微隔离组内虚拟机的隔离策略。

进一步，所述步骤S1的具体步骤为：

S1.1、通过修改虚拟交换机的OpenFlow协议中的使能开关使流表项持久化，即得到持续化的流表，其中，OpenFlow协议规定了虚拟交换机应该实现的各种功能规范，包括流表，流表记录了一段时间内进出交换机的流量状况，流表包括多项流表项；

S1.2、对获得的持续化的流表进行预处理，通过预处理后的持续化的流表中的流表项来获得虚拟机间的网络通联关系。

进一步，所述步骤S1.1中的每一条流表项匹配字段最大达到37个，字段类型来自于OpenFlow协议包的头部，从数据链路层到ARP再到IP和TCP。

进一步，所述步骤S1.2中预处理的具体步骤为：

S1.1.1、剔除流表中不相关的流表项，仅保留域内虚拟机间的流表项，即排除虚拟机与外部服务器、网关之间的通信链路；

S1.1.2、经步骤S1.1.1处理后得到的流表项，剔除其不相关字段，仅保留源IP地址、目的IP地址、传输字节数；

S1.1.3、基于保留的源IP地址、目的IP地址、传输字节数，将源IP地址和目的IP地址构成一条单向链路作为匹配条件，并汇总传输字节数，即得到预处理后的持续化的流表中的流表项。

进一步，所述步骤S2的具体步骤为：

S2.1、根据虚拟机间的网络通联关系构建概率矩阵；

S2.2、基于马尔可夫聚类算法对概率矩阵进行变换操作，得到分组结果，判断分组结果是否收敛，若收敛，转到步骤S2.3，否则，重复步骤S2.2；

S2.3、对分组结果进行合理性判断，若合理，得到多个微隔离组，否则，将分组结果中的大分组切分成小分组或/和将小分组汇聚到其他分组，再执行步骤S2.3。

进一步，所述步骤S2.2中，变换操作由马尔可夫聚类算法中的扩展过程和膨胀过程两个过程交替重复执行。

进一步，所述步骤S2.3中，将分组结果中的大分组切分成小分组或/和将小分组汇聚到其他分组的具体步骤为：

S2.3.1、根据服务器的硬件配置预先估计每个计算节点所能承载的虚拟机数量，估计后，给定每个计算节点两个阈值，用于分别表示每个计算节点所能容纳的最多和最少虚拟机数量；

S2.3.2、将分组结果与给定的阈值相比，如果出现小分组，即出现单一或少量虚拟机独立成组的情况将小分组中虚拟机纳入该虚拟机与其他分组的通信概率最大的分组，其中，概率矩阵中每一列表示虚拟机与其他虚拟机的通信概率，那么其他虚拟机构成的分组的概率也就是把相应的通信概率相加；

S2.3.3、分组结果与给定的阈值相比，如果出现大分组，即出现大量虚拟机构成一个组，其虚拟机数量大到单一的计算节点无法容纳，必须拆分成多个少量虚拟机构成的分组即将该大分组重新定义为一个集合，重新构建概率矩阵，然后再转到步骤S2.2，进而可以拆分出少量虚拟机构成的多个分组。

进一步，所述步骤S3的具体步骤为：

在业务部署测试阶段，基于微隔离组，通过获得虚拟局域网内的持续化的流表获取虚拟机间的网络通联关系作为白名单，网络联通关系是指多个虚拟机间的访问关系；

基于白名单、每个微隔离组、虚拟机运行服务所必需的通信端口，以及虚拟机预定义的服务类型生成针对微隔离组和微隔离组内虚拟机的隔离策略，即一方面，将虚拟机预定义的服务类型相关的链路定义为可靠策略；另一方面将虚拟机预定义的服务类型不相关的通信链路定义为不可靠待排查的策略。

一种基于OpenFlow协议的微隔离防护系统，包括网络状态监测平台和业务管理控制平台；

网络状态监测平台包括：

流量采集模块：用于采集虚拟局域网内东西流量；

流量分析模块：用于分析东西流量中的持久化的流表获取虚拟机间的网络通联关系；

业务管理控制平台包括：

微隔离控制模块：用于基于网络通联关系，周期性利用改进的马尔可夫聚类算法算法将所有虚拟机分成多个微隔离组，并借助SDN控制器下发微隔离组和微隔离组内虚拟机的隔离策略来对全局虚拟局域网进行安全防护，其中，SDN控制器本身实现流表项下发，SDN控制器为Ryu或Floodlight；

虚拟化管理模块：用于负责各虚拟主机状态监控以及虚拟机生命周期相关的操作。

本发明同现有技术相比，其有益效果表现在：

一、本发明提出了一种面向虚拟化环境，基于OpenFlow协议的微隔离方法，在避免不必要资源消耗的同时对域内虚拟机起到细粒度隔离的安全防护作用；即经过大量对比测试验证，该方案较主机代理和引流方式的解决方案有更好的性能，较少的延时和带宽资源浪费(引流方式就是要牵引所有流量，而且不管是业务部署还是业务上线，而本方案完全不需要主机代理因为需要与用户机竞争系统资源，在大流量情况下处理延时会剧增，但是本方案不急于用户机而是在宿主机上，不影响用户机资源。)，可以有效解决数据中心大二层网络环境下虚拟主机间的东西流量防护问题，通过集中管理的方式(基于OpenFlow协议的微隔离，其中OpenFlow是软件定义网络的核心实现，旨在将网络设备的数据平面和控制平面分离，关键实现就是可以对网络设备进行集中管理)，动态下发防护策略，方便、灵活，具有很强的实用性；

二、本发明通过持久化流表项使得虚拟机间的通信状况得以保存，每个流表项可以包含多达37个字段的流属性，通过对这些流表项的数据分析可以得出虚拟机间的联通关系等信息。避免了流量镜像带来的不必要的网络带宽资源的浪费以及各个虚拟机代理流量分析所造成的CPU、内存等资源的占用。

附图说明

图1是本发明实施例的系统架构示意图。

图2是本发明流程图。

图3是本发明中MCL算法处理过程。

图4是本发明中IP₁与其他主机通信量以及通信概率。

图5是本发明中整个虚拟局域网内虚拟主机间的通信概率矩阵。

图6是本发明中微隔离防护策略表格。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

本方法适用于以下场景：

1)相关业务位于同一虚拟局域网中(分散在不同计算节点)，一方面防止业务中断，满足虚拟机动态迁移。另一方面缩小攻击面，提高安全性。

2)运维人员对服务器所运行的服务有相关记录(相关记录是指虚拟机部署前都是有规划的，这台虚拟机部署什么服务器，干什么事情，开放的端口等)，这些记录可以作为之后隔离防护策略的生成和决策，提高软件自动生成决策的准确性，减少运维人员工作负担。

3)适用于海量虚拟机统一部署安全防护策略，将安全部署工作从手工处理转为半自动或自动处理。

为了实现上述目的，本发明采用的技术方案为：一种基于OpenFlow协议的微隔离防护方法。该方法包括业务管理控制平台和网络状态监测平台两大部分，其中，业务管理控制平台包括微隔离控制模块和虚拟化管理模块，网络状态监测平台包括流量采集模块和流量分析模块。网络状态监测平台，主要任务是采集虚拟局域网内东西流量(即通过流量采集模块进行采集)，分析虚拟主机间的网络通关关系(即通过流量分析模块分析持久化流表中的流表项)，得到网络通联关系；微隔离控制模块：用于基于网络通联关系，周期性利用改进的马尔可夫聚类算法算法将所有虚拟机分成多个微隔离组，并借助SDN控制器下发微隔离组和微隔离组内虚拟机的隔离策略来对全局虚拟局域网进行安全防护，其中，SDN控制器本身实现流表项下发，SDN控制器为Ryu或Floodlight；虚拟化管理模块：用于负责各虚拟主机状态监控以及虚拟机生命周期相关的操作。为清楚表述本发明内容，以数据中心众多业务中典型的Web三层架构业务为例进行阐述，如图1所示，其中，包括三个计算节点，计算节点-A，计算节点-B，计算节点-C，每个计算节点就是一台完整的物理服务器，物理服务器间通过物理链路(可以经过多跳甚至跨网域只需保证相互间能够通信即可)连接物理硬件，通过物理网络与外部网络(如：外部服务器、网络状态监测平台和业务管理控制平台)通信，通过内部链路与其他服务器(外部设备，诸如DNS服务器、DHCP服务器、邮件服务器等都可以)通信。

在物理服务器中运行虚拟机监视器，利用虚拟化技术将物理服务器资源划分为资源池(即划分为多个虚拟机)，动态分配给虚拟机实例。构建一台能够正常运行的虚拟机至少需要分配CPU、内存、网络接口等。其中虚拟机内部网络接口会在宿主机中显示为VNET(虚拟网络接口卡)，所有流入流出的虚拟机流量都是通过该接口卡进行传递，为了能够实现虚拟机间以及和外部网络的通信一般将该VNET接口桥接到虚拟交换机中(常见的实现有Linux Bridge和Open vSwitch)。而计算节点之间的通信，一般情况下数据中心的做法是构建虚拟局域网，与传统VLAN不同，虚拟化环境下使用的VXLAN或GRE等隧道封装技术构建的虚拟局域网。

此处是针对虚拟机的Web三层架构图，当然也可以将虚拟机监视器和虚拟机变更为容器引擎和容器。容器的根本原理是借助对于操作系统的资源，包括存储、网络、进程命名空间等的隔离，对应用享有完整运行时依赖(资源)进行抽象。因本发明设计的微隔离防护主要是针对网络虚拟化，而常见的容器在网络虚拟化当中与虚拟机有诸多相似之处，都是需要接入虚拟网络设备(如：虚拟交换机或虚拟路由器或防火引擎)进行通信，而本架构并不涉及主机代理，也就是说不需要在容器或虚拟机当中运行监控程序，所以本方案的适用范围也更广泛。

图1的三个计算机节点总共运行了九个虚拟机，按照虚拟机中运行服务的不同，将一个计算节点分为三类，Web服务器、中间件服务器、数据库服务器。其中业务1涉及到的虚拟机有1号虚拟机(数据库服务器)、8号虚拟机(Web服务器)、9号虚拟机(中间件服务器)，业务2涉及的虚拟机有2号虚拟机(数据库服务器)、3号虚拟机(中间件服务器)、4号虚拟机(数据库服务器)，业务3涉及到的虚拟机有5号虚拟机(数据库服务器)、6号虚拟机(数据库服务器)、7号虚拟机(中间件服务器)。

图1中每个虚拟机监视器还部署了虚拟交换机/虚拟路由器为虚拟机网络通信做数据转发。例如1号虚拟机要与4号虚拟机通信，则其报文从虚拟机内部网卡发送到宿主机虚拟网络接口(VNET接入到虚拟交换机/虚拟路由器)，再由虚拟交换机/虚拟路由器经过决策后转发到计算节点的物理网卡。计算节点-A和计算节点-B之间可能需要经过多跳网关多个网络设备。计算节点-B物理网卡收到报文，交由虚拟交换机/虚拟路由器决策后下发到指定虚拟网络接口，最终才转发到对应的4号虚拟机中。而传递的数据单位可能是以太网帧、消息、数据包等，为了能够跨越多层网络传输，原始的数据会被封装后使用可靠或不可靠的传输协议传输到对端再解封装，这种形式的传输正是隧道技术的应用。

再比如1号虚拟机要与2号虚拟机进行通信，网络报文的传递经由虚拟机内部网卡流入宿主机的虚拟网络接口，再经过虚拟交换机/虚拟路由器决策后直接转发到对应的虚拟网络接口，交付到位于同一计算节点的虚拟机中。很明显，如果通信比较频繁的虚拟机放到同一个计算节点能够提高传输效率、减小延时的同时节省带宽资源。而通信量较小的虚拟机适宜部署到不同计算节点上。这里仅仅考虑网络通信量来部署虚拟主机，而其他因素，诸如CPU占用比，存储占用，IO占用比等等因素往往也是虚拟主机部署的决策因素，而本方法涉及到的微隔离技术主要考虑以网络通信关系来决定虚拟主机的部署。

图1中的业务管理控制平台可以有更多功能模块实现，此处只列出最主要的两个，虚拟化管理模块和微隔离控制模块。其中虚拟化管理模块负责各个计算节点虚拟主机状态监控以及虚拟机生命周期相关的创建、迁移、销毁、快照等诸多维护性质的操作。虚拟化的本质在底层硬件和操作系统之间抽象出可供调度的资源池。其中最主要的CPU虚拟化则是借助底层CPU架构所提供的虚拟化指令集将物理主机的计算资源统一成资源池再划分给多个虚拟机并保证各个虚拟机之间的计算资源相互隔离。在此基础之上的管理软件，虚拟机监视器(Virtual Machine Monitor，缩写为VMM)，它为使用者提供了一个软件接口，隔离每个虚拟机资源。虚拟机监视器掌控着客户机一切行为-访问特权指令、I/O指令、中断和异常。这使得虚拟机上的软件不能直接改变宿主机系统的资源分配且除了性能相关的行为或者因为多虚拟机共享造成的固定资源限制外，虚拟机上的软件运行能够与它在实际意义的物理机上运行完全相同。因此，虚拟机监视器一般在物理机上运行较高特权级。虚拟机监视器的主要任务就是管理虚拟机，因此每个计算节点都必须要有一个虚拟机监视器，而数据中心服务器数量众多，单一的服务器管理早已不再适用，更多是使用统一的集中式管理。因此图1上所示，虚拟化管理模块将负责的是全局的资源分配以及统筹虚拟机监视器的任务分配，因此虚拟化管理模块将要负责是对多个物理计算节点的控制，例如，虚拟机1号迁移到计算节点-B，则不单单要把虚拟机镜像拷贝(基于本地存储)过去，在迁移之前就要尽心一系列计算，如果计算节点-B能够符合迁移条件，资源是否充足，网络配置是否一致等等，之后才进行一系列迁移作业。

微隔离控制模块主要针对虚拟网络进行安全防护。虚拟机之间的流量称之为东西流量，这是由上层应用决定了这些流量具有内在关联性。已有研究表明，现代数据中心的内部流量已经从传统的“南北流量”为主演变为“东西流量”为主，传统的网络攻防部署以网关防火墙的形式已经无法满足安全防护的需求，一旦防火墙被攻破，内部主机完全暴露，黑客将能够轻而易举访问所有内部主机，这将给数据中心带来极大的安全隐患。本模块假定所有虚拟机在同一虚拟局域网内，相互之间处于同一网段，各个虚拟机分布在不同计算节点当中，引入软件自定义网络，通过和上层应用的联合优化设计，不单单能够在不影响应用效果的前提下，大幅度降低关联性流量给域内网络造成的传输开销，降低数据中心网络带宽资源的同时提升虚拟机间的通信效率，降低传输时延。本方法设计的微隔离模块核心在于统计关联性流量，划分微隔离组，通过对微隔离组和组内虚拟机分别添加访问策略达到东西流量安全防护的作用。

图1中网络状态监测平台，主要任务是采集虚拟局域网内东西流量，分析虚拟主机间的关联性。一般情况下，管理员会记录下每台虚拟机的部署配置情况，但是运行在虚拟机之上的应用程序，这涉及到软件设计架构层面，管理员若不通过流量分析很难了解到应用层面虚拟机之间的通信关系，而应用开发人员、软件设计师也会因为软件设计复杂度的增加对应用之间调用关系与虚拟机间的通信关系很难联系到一起解释清楚。通常情况下，一台Web服务器访问一台中间件服务器，但是数据库和数据库之间存在多对多的调用，而其软件层面架构可以不仅仅是三层架构，也可以是N层架构。单个业务不熟关系可以理清关系，但是多个业务，业务与业务之间又有关联系，其中的复杂度不言而喻。在现如今计算能力如此发达的阶段更应该交由程序来解决。本方法考虑到虚拟机业务与虚拟机间通信关系，提出采用流量分析的方式，通过流量获取虚拟机间通信关系，进而借由聚类算法将通信量大的多个虚拟机划分成微隔离组，以组为单位施加安全访问控制策略，再以组内虚拟机为单位为每个虚拟机定制一个防火墙，而这层层访问控制，分而治之的策略均由主控中心监管。

图1中所绘制的外部服务器，一般情况下，外部服务器自身增加安全访问控制策略便可，也可划分微隔离组进行防护，根据网络规模而定。常见的外部服务器包括DNS服务器、防火墙、网关等等。考虑到这些服务器与内部虚拟机集群构成南北流量，一般都只准许固定端口开放即可进行本发明主要涉及的对东西流量的防护。

根据软件设计分层架构原理，虚拟机通信构成的数据流必然存在很大的数据关联性，进而可以获得非常大的数据流聚合增益，通过流量分析可以发掘和利用这种增益，适当的利用可以大幅度降低东西流量对数据中心稀缺的网络带宽资源的消耗。因此将软件分层架构原理引入到数据中心后，通过和上层应用的联合优化设计，可以在不影响应用效果的前提下，从源头处降低关联性流量造成的网络传输开销。基于这种原理，本方法第一步骤便是捕获虚拟机间传输流量进行分析。

本技术方案总体实现大致分为如下几个步骤，整体方法的设计流程图如图2所示。

S1、通过获得虚拟局域网内的持续化的流表获取虚拟机间的网络通联关系；

S2、基于网络通联关系，周期性利用改进的马尔可夫聚类算法将所有虚拟机分成多个微隔离组；

S3、针对每个微隔离组、虚拟机运行服务所必需的的通信端口，以及虚拟机预定义的服务类型生成针对微隔离组和微隔离组内虚拟机的隔离策略。

微隔离技术方案分为两个阶段，划分微隔离组和微隔离策略生成。划分微隔离组阶段的基于持久化流表项的网络通联关系发现方法主要用来获取虚拟机间的联通关系，它比平常的流量镜像分析更高效，节省带宽，为后续的微隔离分组以及微隔离策略的生成提供元数据信息。将网络联通关系转换为概率矩阵，使用基于改进MCL算法的微隔离组划分方法进行聚类，便可以生成具有关联性的多个微隔离分组。进而结合虚拟机预定义服务类型，自动生成防护策略。管理员若要修正则为半自动部署，否则即为自动部署，这里可以根据实际需要，因为持久化流表的行为发生在业务测试阶段，而实际运行可能由更多的通信链路发生，是否要强制所有链路符合预定义要求需要运维人员决策。最后将生成的微隔离策略下发到支持OpenFlow协议的网络设备。

其中，基于持久化流表项的网络通联关系发现方法，是通过修改虚拟交换机的OpenFlow协议实现使能流表项持久化，即修改使能开关，使使能开关在开启状态下，所有流表项都不会删除，永久保留，因此数量会一直增加；使能开关在关闭状态下，超时(一段时间内没有用到)的流表项会自动删除，进而通过分析流表项来获得虚拟机间的联通关系。OpenFlow协议规定了OpenFlow交换机应该实现的各种功能规范，其中就包括流表。流表记录了一段时间内进出交换机的流量状况，流表中的每一条流表项匹配字段都可以多达37个(根据OpenFlow版本不同，匹配字段数量不同)，字段类型大多来自于OpenFlow协议包的头部，可以从数据链路层到ARP再到IP和TCP。因此一条流表项可以清晰地反应出两台虚拟机在某一段时间内(流表项有效时间)的通信链路状况，如果能够把所有流表项持久化，待整个虚拟网络运行一段时间后，通过分析所有流表项就能够得出这段时间内虚拟机之间的网络通联关系。

持久化流表项会占用较多内存。OpenFlow协议规范之所以要设定硬超时和软超时主要是为了减小内存开销，用以适应存储容量有限的硬件网络设备。尽管本方案所用到的虚拟交换机设备位于计算节点中(与Hypervisor位于同一层面)可以提供相比硬件设备更多的存储，但当网络规模达到一定程度，流表项(与具体网络中的通信链路呈正相关)数目指数增长的时候会使得内存成为性能瓶颈，因此流表项持久化的时间(使使能开关在开启状态的时间)不宜过长且设定的阈值要结合网络中虚拟机数目和计算节点存储能力而定。

综上所述，通过修改支持OpenFlow协议的虚拟交换机源码实现持久化流表项后，进而对大量流表项(每一条流表项可以多大37个字段)信息的数据分析，获得虚拟机间网络通联关系情况，为后续微隔离组划分做准备。

其中，为了基于改进MCL算法进行微隔离组划分，是在上一步获得持久化的流表基础上，对海量流表项进行数据分析进而获得微隔离组的划分。本发明提出的微隔离方法在设计的时候主要考虑网络间通信量来划分微隔离组，因此分析的流表项字段主要包括，源IP地址、目的IP地址、传输字节数。但是考虑到不同层次的流表项会有重复，诸如端口号、协议(UDP/TCP)等，造成相似的流表项众多等问题，因此首先要做的就是对流表项信息进行预处理。预处理包含以下步骤：

1)剔除不相关的流表项，仅保留域内虚拟机间的流表项，也就是排除虚拟机与外部服务器、网关等之间的通信链路。

2)剔除不相关字段，仅保留源IP地址、目的IP地址、传输字节数。

3)在上个步骤基础上，将\{源IP地址、目的IP地址\}(构成一条单向链路)作为匹配条件，汇总传输字节数。

经过上述步骤处理，整个虚拟局域网间通信链路关系以及传输量就明确了。为了能够划分微隔离组，需要进行聚类操作。聚类操作实质是将数据集划分为若干关联性强的对象组成的多个分组的过程，使得同组对象间的关联度最大化，不同组对象间的关联度最小化，也就是组内同质，组间差异。

常用的聚类算法包括K-Means、均值漂移聚类、基于密度的聚类方法、凝聚层次聚类等。结合数据中心海量虚拟机部署的特点，对比发现MCL算法相较于其他算法在准确度和时间消耗上具有一定优势，更适用于海量虚拟机的情况。但是随着虚拟机和通信链路的增加，算法运行结果会出现小分组(极少量虚拟机构成的分组)或大分组(大量虚拟机构成的分组)的情况，严重影响算法的准确性和结果的有效性，因此在原有MCL基础上提出一系列改进措施。结合聚类算法实现微隔离防护，如图3所示。

假定有N台虚拟机，将预处理得到的数据用三元组来表示，那么域内虚拟机之间的通信链路至多有多少条的问题就是有向完全图边数问题，最多有n(n-1)条链路。因本发明只考虑通信量大小，以三元组表示某一条链路为例。例如IP₁和IP₄之间的传输关系可以用式子：Flow₁₄＝{IP₁，IP₄，bytes}表示，那么IP₁到其他所有虚拟机的链路可以用矩阵表示，如图4(a)所示。该列的所有数值总和就是IP₁与其他虚拟机总的通信量，将单一链路的通信量除以总通信量就是当前虚拟机与其他虚拟机的通信概率，如图4(b)所示。

那么N台虚拟机可以构建N*N的矩阵，即构成如图5所示的概率矩阵，其中横坐标项和纵坐标项均代表对应编号的虚拟机。第i行第j列的矩阵值p_ii表示第i台虚拟机流向第j台虚拟机发起通信的概率，因此矩阵的每一列之和是1。

接着，需要对概率矩阵进行进一步变换运算，具体的运算取决于所采用的聚类算法。以MCL为例，变换操作为扩展过程(Expansion)和膨胀过程(Inflation)这两个过程交替重复执行。这些操作属于MCL本身定义的操作，但是产生的结果并不一定有效，因为在聚类过程中，每经过一次或数次迭代后，导致节点间的关联性得到了放大和缩小，从而会造成节点之间关联性出现偏差。每经过一次迭代，偏差不断扩大，容易造成一些边缘节点从整个网络中分离出来，行成单节点或者少数节点构成的聚类，分别为小分组和大分组的情况，严重影响算法的准确性和结果的有效性。因此本方法在MCL算法基础上提出一些改进措施，改进所措时包括以下几点：

S2.3.1、根据服务器的硬件配置预先估计每个计算节点所能承载的虚拟机数量，估计后，给定阈值，用于分别表示每个计算节点所能容纳的最多和最少虚拟机数量；

S2.3.2、分组结果与给定的阈值相比，如果出现小分组，即出现单一或少量虚拟机独立成组的情况将小分组中虚拟机纳入该虚拟机与其他分组的通信概率最大的分组，其中，概率矩阵中每一列表示虚拟机与其他虚拟机的通信概率，那么其他虚拟机构成的分组的概率也就是把相应的通信概率相加。

S2.3.3、分组结果与给定的阈值相比，如果出现大分组，即出现大量虚拟机构成一个组，其虚拟机数量大到单一的计算节点无法容纳，必须拆分成多个少量虚拟机构成的分组即将该大分组重新定义为一个集合，重新构建概率矩阵，然后再转到步骤S2.2，进而可以拆分出少量虚拟机构成的多个分组。

显然，这种分组划分跟软件设计架构的业务逻辑具有一定关联性。以往运维人员为了方便管理，都是同种服务类型的虚拟机放到同一计算节点，但是这种做法并没有考虑虚拟机间的联通关系，并且同类型服务对服务器资源会造成抢占行为，例如数据库抢占I/O资源，中间件抢占CPU资源等，不利于资源的均衡分配。这类问题称为VMP(VirtualMachineplacement，虚拟机放置)，而本发明提及的微隔离分组划分方法也为这类问题提供了参考依据，其主要考虑的因素就是网络通信量，将通信量大的多台虚拟机放置于同一个计算机节点，可大大提升速率的同时节省带宽。

实际上，通过一段时间所获得的持续化的流表持续化的流表信息进行聚类后得到的分组并非总是跟业务逻辑完全相关，考虑到实际运行环境下服务器部署问题，运维人员无法确定虚拟机使用者一定按照最初给定的服务来配置虚拟机，软件部署具有动态多样性。因此，为了保证整体效率，周期性进行微隔离分组操作就变得很有必要。

最后，微隔离防护策略自动生成方法，该方法包含以下几个部分：

1)需要在业务部署测试阶段，基于微隔离组，获取虚拟机间的网络通联关系，即多个虚拟机间的访问关系。业务在上线之前一般都要经过测试，而这一阶段，业务虚拟机之间的通信是可信的。基于此基本原理，如果能在可信阶段通过持久化流表来获取虚拟机间的网络通联关系，获得的结果基本是可靠的。

2)虚拟机间某些链路并非必要存在，因此单纯的通过获得虚拟机网络通联关系作为白名单来设定防护策略容易造成冗余的策略过多等问题，少量冗余可以接受，但必须考虑到海量虚拟机情况下，任何一种优化措施都会对全局性能提升起到一定作用，因此，通信链路是否可靠，必须结合虚拟机预定义服务类型来做判断。这里虚拟机预定义服务类型，指的是管理员在配置虚拟机的时候默认指派该虚拟机的用途、开什么服务、启用什么端口等。一般情况下可以定义模板，然后批量创建。典型的，Web服务器开通80、443端口，MySQL开通3306端口等。那么对应的访问链路(有方向)就可以作为防护策略来使用。

必须明确一点，本微隔离方法，其防护策略的部署是基于白名单机制前提下，也就需要明确定义链路的相关信息，规定的字段越多，粒度越细，安全性越高。

本微隔离方法的防护策略基于网络流量特征提取，其特征可以包括源MAC地址，目的MAC地址，源IP地址，目的IP地址，目的端口号等，类似于防火墙设计中使用的四元组、五元组、七元组。防护策略将根据业务测试阶段持久化流表项获得的虚拟机联通关系，结合预定义服务生成。以上述应用场景为例，可以生成如图6所示的防护策略，其中Web服务器访问中间件服务器，中间件服务器访问数据库服务器。根据对应服务器预定义配置信息，中间件服务器监听5001、数据库服务器监听3306端口来提供业务功能实现，这些信息在配置虚拟机的时候已知并且许可，那么对应的链路就是一条微隔离防护策略。再者，结合OpenFlow协议的特性，使用更多的限制字段，可以针对数据链路层、网络层、传输层甚至应用层的相关头字段进行限定，来达到细粒度访问控制的目的。

基于虚拟机间的网络通联关系和虚拟机预定义服务类型来自动生成的，但是往往有些服务器可能与某些业务逻辑不相关的服务器进行通信。因此，生成的策略可以作为参考(即指自动生成的策略)，一方面，将虚拟机预定义的服务类型相关的链路定义为可靠策略；另一方面将虚拟机预定义的服务类型不相关的通信链路定义为不可靠待排查的策略。基于此，本技术方案将对应的自动生成策略分为两类。而不可靠的链路需要经过人工排查，可以从一定程度上提高性能和安全性。

因此微隔离防策略的自动生成结合了虚拟机间的网络通联关系以及虚拟机预定义服务类型信息来实现，并且将自动生成的策略分为两类，可经过人工修正后部署(即指有时候不排除其他冗余的访问关系，或有时候排除某个不必要的通信链路，那么这里给出人工修正的可能，再通过修改后的情况自动生成策略，用不用是人决定)，提高可靠性。

综上所述，本发明在OpenFlow协议的基础上提出微隔离防护方法，整个方法围绕着OpenFlow协议定义的流表展开，通过持续化的流表持续化的流表获得虚拟机间联通关系，通过对收集到的流表进行数据分析提取特征自动生成防护策略，通过增删流表实现对虚拟交换机的统一管控。流表给微隔离实现提供了一种实现方式，借助流表实现跨系统和部署环境的统一安全模型。本发明克服了传统配置方法都是一条一条配置，工作量大的问题。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (7)

1.一种基于OpenFlow协议的微隔离防护方法，其特征在于，包括如下步骤：

S1、通过获得虚拟局域网内的持续化的流表获取虚拟机间的网络通联关系；

S2、基于网络通联关系，周期性利用改进的马尔可夫聚类算法将所有虚拟机分成多个微隔离组；

所述步骤S2的具体步骤为：

S2.1、根据虚拟机间的网络通联关系构建概率矩阵；

S2.2、基于马尔可夫聚类算法对概率矩阵进行变换操作，得到分组结果，判断分组结果是否收敛，若收敛，转到步骤S2.3，否则，重复步骤S2.2；

S2.3、对分组结果进行合理性判断，若合理，得到多个微隔离组，否则，将分组结果中的大分组切分成小分组或/和将小分组汇聚到其他分组，再执行步骤S2.3；

S3、针对每个微隔离组、虚拟机运行服务所必需的通信端口，以及虚拟机预定义的服务类型生成针对微隔离组和微隔离组内虚拟机的隔离策略；

所述步骤S3的具体步骤为：

在业务部署测试阶段，基于微隔离组，通过获得虚拟局域网内的持续化的流表获取虚拟机间的网络通联关系作为白名单，网络联通关系是指多个虚拟机间的访问关系；

基于白名单、每个微隔离组、虚拟机运行服务所必需的通信端口，以及虚拟机预定义的服务类型生成针对微隔离组和微隔离组内虚拟机的隔离策略，即一方面，将虚拟机预定义的服务类型相关的链路定义为可靠策略；另一方面将虚拟机预定义的服务类型不相关的通信链路定义为不可靠待排查的策略。

2.根据权利要求1所述的一种基于OpenFlow协议的微隔离防护方法，其特征在于，所述步骤S1的具体步骤为：

S1.1、通过修改虚拟交换机的 OpenFlow协议中的使能开关使流表项持久化，即得到持续化的流表，其中，OpenFlow 协议规定了虚拟交换机应该实现的各种功能规范，包括流表，流表记录了一段时间内进出交换机的流量状况，流表包括多项流表项；

S1.2、对获得的持续化的流表进行预处理，通过预处理后的持续化的流表中的流表项来获得虚拟机间的网络通联关系。

3.根据权利要求2所述的一种基于OpenFlow协议的微隔离防护方法，其特征在于，所述步骤S1.1中的每一条流表项匹配字段最大达到37个，字段类型来自于OpenFlow协议包的头部，从数据链路层到 ARP 再到 IP 和 TCP。

4.根据权利要求3所述的一种基于OpenFlow协议的微隔离防护方法，其特征在于，所述步骤S1.2中预处理的具体步骤为：

S1.1.1、剔除流表中不相关的流表项，仅保留域内虚拟机间的流表项，即排除虚拟机与外部服务器、网关之间的通信链路；

S1.1.2、经步骤S1.1.1处理后得到的流表项，剔除其不相关字段，仅保留源 IP 地址、目的 IP 地址、传输字节数；

S1.1.3、基于保留的源 IP 地址、目的 IP 地址、传输字节数，将源 IP 地址和目的 IP地址构成一条单向链路作为匹配条件，并汇总传输字节数，即得到预处理后的持续化的流表中的流表项。

5.根据权利要求4所述的一种基于OpenFlow协议的微隔离防护方法，其特征在于，所述步骤S2.2中，变换操作由马尔可夫聚类算法中的扩展过程和膨胀过程两个过程交替重复执行。

6.根据权利要求4或5所述的一种基于OpenFlow协议的微隔离防护方法，其特征在于，所述步骤S2.3中，将分组结果中的大分组切分成小分组或/和将小分组汇聚到其他分组的具体步骤为：

S2.3.1、根据服务器的硬件配置预先估计每个计算节点所能承载的虚拟机数量，估计后，给定每个计算节点两个阈值，用于分别表示每个计算节点所能容纳的最多和最少虚拟机数量；

S2.3.2、将分组结果与给定的阈值相比，如果出现小分组，即出现单一或少量虚拟机独立成组的情况将小分组中虚拟机纳入该虚拟机与其他分组的通信概率最大的分组，其中，概率矩阵中每一列表示虚拟机与其他虚拟机的通信概率，那么其他虚拟机构成的分组的概率也就是把相应的通信概率相加；

S2.3.3、分组结果与给定的阈值相比，如果出现大分组，即出现大量虚拟机构成一个组，其虚拟机数量大到单一的计算节点无法容纳，必须拆分成多个少量虚拟机构成的分组即将该大分组重新定义为一个集合，重新构建概率矩阵，然后再转到步骤S2.2，进而可以拆分出少量虚拟机构成的多个分组。

7.一种基于OpenFlow协议的微隔离防护系统，采用如权利要求1所述的一种基于OpenFlow协议的微隔离防护方法，其特征在于，包括网络状态监测平台和业务管理控制平台；

网络状态监测平台包括：

流量采集模块：用于采集虚拟局域网内东西流量；

流量分析模块：用于分析东西流量中的持久化的流表获取虚拟机间的网络通联关系；

业务管理控制平台包括：

微隔离控制模块：用于基于网络通联关系，周期性利用改进的马尔可夫聚类算法将所有虚拟机分成多个微隔离组，并借助SDN控制器下发微隔离组和微隔离组内虚拟机的隔离策略来对全局虚拟局域网进行安全防护，其中，SDN控制器本身实现流表项下发，SDN控制器为Ryu或Floodlight；

虚拟化管理模块：用于负责各虚拟主机状态监控以及虚拟机生命周期相关的操作。

Images