CN103560963B

CN103560963B - 一种OpenFlow流表存储空间压缩方法

Info

Publication number: CN103560963B
Application number: CN201310581078.2A
Authority: CN
Inventors: 葛敬国; 吴玉磊; 鄂跃鹏; 游军玲; 陈智; 李佟; 韩春静
Original assignee: Computer Network Information Center of CAS
Current assignee: Computer Network Information Center of CAS
Priority date: 2013-11-18
Filing date: 2013-11-18
Publication date: 2016-08-17
Anticipated expiration: 2033-11-18
Also published as: CN103560963A

Abstract

本发明涉及一种OpenFlow流表存储空间压缩方法。该方法通过分析OpenFlow流表结构特点，根据流表项字段的冲突关系与共存关系对OpenFlow流表进行分类，将初始流表项划分到不同的类中进行存储，从而将大规模、结构复杂流表转化为多个规模更小、结构简单的流表；并根据OpenFlow流表的频繁、快速更新特性设定动态调整阀值，通过对现有的类进行分裂或合并操作来优化流表存储空间。本发明可以有效降低流表存储空间且适应于OpenFlow流表的动态、快速更新，对流表存储空间的压缩率能稳定在70%左右，而且可以用更少的运行时间获得与最优方法相似的空间压缩率。

Description

一种OpenFlow流表存储空间压缩方法

技术领域

本发明属于信息技术领域，涉及一种高效启发式OpenFlow流表存储空间压缩方法，根据流表项字段之间的冲突与共存关系，将大规模、结构复杂流表转化为多个规模更小、结构简单的流表，并根据OpenFlow流表的频繁、快速更新特性设定动态调整阀值，对流表存储空间进行优化。

背景技术

随着网络规模的急剧膨胀和应用类型的不断丰富，传统互联网的结构和功能日趋复杂与僵化，对网络的管控能力日趋减弱。应用与网络相对割裂，应用不能感知网络的状态且不能控制网络，而网络也无法感知应用的需求并根据需求来调整网络。软件定义网络（SDN）是一种控制逻辑和数据转发分离的创新网络架构，具有接口标准化、全局视图、灵活控制、开放可编程等特点，为网络及应用的创新提供了良好的平台，对未来网络将产生革命性的影响。

OpenFlow是美国斯坦福大学于2007年提出的一种支持网络创新研究的新型网络交换模型，实现网络控制平面和转发平面的分离，基于开放的、可动态修改的流表对网络进行编程。OpenFlow在设备上维护流表（Flow Table）结构。其中，流表由OpenFlow流表项组成，且流表项包含OpenFlow支持的字段。数据分组按照流表进行转发。而流表的生成、维护、配置则由控制器来管理。OpenFlow以其高度的开放性和易操控性逐渐成为实现SDN的核心技术。目前OpenFlow技术正处于研究发展阶段。OpenFlow技术的全球规模化部署还存在很多问题。主要是由于网络带宽的爆炸性增长、网络应用的多样化、新型网络体系结构的发展以及网络灵活高效管控的需求等因素对OpenFlow的流表规模、结构以及查找效率等方面提出了更高的挑战。

对规则分类存储以降低OpenFlow流表存储空间的思想来源于IP网络的报文分类方法。在IP网络中，报文分类是指根据报文头部信息的关键字段对报文进行分类，使得网络设备对多样化和差异化的业务可以采取不同的操作。目前，Recursive Flow Classification（RFC）、Gridof Trie、HiCuts以及HyperCuts等算法是基于软件实现的典型报文分类算法。其中，RFC算法具有很高的吞吐量，但存储空间需求大，不适用于大型规则库分类，所以并不能应用在大规模OpenFlow流表的高效查找中。Grid of Trie算法基于搜索树结构，节约存储空间，但更新复杂度高。由于OpenFlow流表项更新频繁，所以Grid of Trie算法不能应用于快速更新的OpenFlow流表查找中。HiCuts算法和HyperCuts算法是解决低维度报文分类问题。由于OpenFlow流表项包含多维字段，所以低维度报文分类算法应用于OpenFlow流表高效查找时会导致存储空间爆炸，查找效率低。

传统网络中的ACL与OpenFlow流表具有类似的存储结构，因此可以借鉴ACL的压缩存储方法优化OpenFlow流表存储空间。曾旷怡等（曾旷怡,杨家海.访问控制列表的优化问题.软件学报,2007,18(4):978-986.http://www.jos.org.cn/1000-9825/18/978.htm）提出了基于一条语句与多条语句之间或多条语句与多条语句之间的交叉覆盖或包含关系优化ACL，减少了ACL的条数。Daly J等（Daly J,Liu A X,Torng E.A Difference Resolution Approach to CompressingAccess Control Lists.In Proc.of INFOCOM’13,2013.2040-2048.）提出了Diplomat算法来压缩ACL，通过将原始的匹配模型划分成多个超平面，从而将高维的匹配目标分解成多个低维的匹配目标，能够减少30.6%的ACL存储空间。文献“Liu A X,Torng E,Meiners C R.Compressingnetwork access control lists.IEEE Transactions on Parallel and Distributed Systems,2011,22(12):1969-1977.”提出了ACL压缩机框架，分别处理一维ACL和多维ACL来优化其存储，能够减少50.22%的存储空间。文献“Curtis AR,Mogul JC,Tourrilhes J,Yalagandula P,Sharma P,BanerjeeS.DevoFlow:Scaling flow management for high performance networks.In:Proc.of theSIGCOMM2011.Toronto:ACM Press,2011.254-265.”指出OpenFlow是基于流而不是基于目的地址的，同样的网络数据流量，OpenFlow流表比路由表包含更多的表项，即OpenFlow中数据流可以通过匹配不同的流表项实现不同粒度的控制；利用OpenFlow流表项之间的关系进行流表优化，可能会破坏流表对于流的控制粒度。因此传统网络中ACL的存储优化并不适用于OpenFlow流表的存储优化。

传统的报文分类算法主要应用于低维小型规则库，同时不适应规则库的动态更新，并不能直接有效的解决大规模复杂OpenFlow流表的查找问题。对路由表和ACL存储空间优化算法主要是针对路由表项和ACL项的特定结构提出的，不具有可扩展性。

发明内容

面对硬件设备无法满足大规模OpenFlow流表存储的挑战，本发明结合OpenFlow流表项字段结构特点，提出了一种高效启发式OpenFlow流表存储空间压缩方法，根据流表字段的冲突与共存关系，将大规模、结构复杂流表转化为多个规模更小、结构简单的流表，并能够根据OpenFlow流表项的更新变化动态调整每个存储模块包含的有效字段，对流表存储空间进行优化。

本发明采用的技术方案如下：

一种OpenFlow流表存储空间压缩方法，其步骤包括：

1）根据OpenFlow流表的结构，确定同一传输单元中流表项字段之间的冲突关系与共存关系；

2）利用所述冲突关系与共存关系对OpenFlow流表进行分类，将字段可共存的流表项划分到一个类中、字段不可共存的流表项划分到不同类中进行存储；

3）将初始流表项添加到划分好的OpenFlow流表类中；

4）根据OpenFlow流表的频繁、快速更新特性设定动态调整阀值，当新加入的流表项条数超过限定的阀值时，对现有的类进行分裂操作，当类的个数超过限定的阀值时，对现有的类进行合并操作，以优化流表存储空间。

进一步地，步骤1）中流表项字段之间的冲突关系是指不能在同一传输单元中同时出现的字段，流表项字段之间的共存关系是指能够在同一传输单元中同时出现的字段。

进一步地，步骤2）对流表进行划分的具体方法为：利用所述冲突关系与共存关系，将初始流表划分成两个类，在所划分的两个类中选择出可以再进行分裂且存储代价最大的类，再利用所述冲突关系与共存关系划分成两个类，以此类推；如果所有的类都已进行过分裂或类的分裂个数大于类的限定阀值时，结束分裂操作；其中存储代价表示该类存储的有效字段所占用的字节数。

进一步地，步骤3）通过迭代2）所述的已经划分的所有类，把每个类的有效字段集合所对应向量中的每一位减去流表项中对应的向量位，得到向量位差值绝对值之和以及向量位差值之和；比较这两个值，当二者相等时，则该流表项可以加入到该类中；在所有可能加入的类中选择存储代价增加最小的类完成加入。

进一步地，步骤4）中当新加入的流表项条数超过限定的阀值时，对现有的类进行分裂操作；具体分裂方法为：

将下一条新流表项加入到某个类中，列举所有对该类进行预分裂成两个类的可能的操作，并计算每种可能的分裂情况下的存储空间大小；通过比较所有可能的分裂情况下所计算出的存储空间大小，选择存储空间减少最多的一个分裂情况；将该类按照这种方式进行分裂成两个类，并删除原类。

进一步地，步骤4）中当类的个数超过限定的阀值时，对现有的类进行合并操作；具体合并方法为：

列举所有选择任意两个类进行预合并成一个类的可能情况，并计算每种可能的合并情况下的存储空间大小；通过比较所有可能的合并情况下计算出的存储空间大小，选择存储空间增加最少的一个合并可能；合并这两个类产生一个新类。

本发明提出的OpenFlow流表存储空间压缩方法基于现有OpenFlow1.3标准，利用流表项结构特点对高维稀疏的OpenFlow流表进行分类划分，具有实际可操作性。与现有技术相比，本发明的主要贡献和优点如下：

1）实现了大规模、复杂结构的OpenFlow流表的存储空间优化。本发明将一个OpenFlow流表划分成多个规模小、结构简单的存储模块，每个存储模块中存储不同的有效字段。以OpenFlow流表结构为基础进行划分，使得每个类中包含的有效字段总长度更小。每条流表项划分到不同的存储模块中，从而降低流表存储空间。

2）支持OpenFlow流表项的快速更新。本发明能够根据OpenFlow流表项的更新变化，动态调整每个存储模块包含的有效字段，使得流表存储结构更有效地降低更新后的流表存储空间。

3）本发明提出的OpenFlow流表存储空间压缩方法是启发式算法，当类的个数不小于4时，对流表存储空间的压缩率能稳定在70%左右，与现有的最优算法（针对每一条新流表都对类进行分裂或合并操作）的压缩效率差别很小，而该算法执行时间远小于最优算法所需时间，即可以用更少的运行时间获得与最优方法相似的空间压缩率。

附图说明

图1是本发明的OpenFlow流表存储空间压缩方法的总体流程图。

图2是OpenFlow流表项字段共存关系的二维矩阵表示示意图。

图3是OpenFlow流表项字段冲突关系的二维矩阵表示示意图。

图4是所述OpenFlow流表存储空间压缩方法和最优算法的运行时间比较示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做详细的说明。

图1是本发明的OpenFlow流表存储空间压缩方法的总体流程图。首先根据OpenFlow流表的结构特点，确定流表项字段之间的冲突关系与共存关系，然后利用所述冲突关系与共存关系对OpenFlow流表进行分类，将初始的流表项划分到不同的类中进行存储；再根据OpenFlow流表的频繁、快速更新特性设定动态调整阀值，当更新变化的流表项条数超过限定的阀值时，通过对现有的类进行分裂或合并操作来优化流表存储空间。为衡量本发明的效果，定义压缩率如下：

本实施例考虑OpenFlow1.3标准必须支持的13维字段，即IN_PORT，ETH_DST，ETH_SRC，ETH_TYPE，IP_PROTO，IPV4_SRC，IPV4_DST，IPV6_SRC，IPV6_DST，TCP_SRC，TCP_DST，UDP_SRC，以及UDP_DST。

图2表示OpenFlow流表项字段共存关系，图3表示OpenFlow流表项字段冲突关系。假设OpenFlow交换机流表中初始流表项为3000条，类的个数限定阀值为3，初始化时得到初始的3个类。当更新变化的流表项条数超过给定的阀值200时，对类存储结构进行调整。

（1）初始化时，只存在一个类，该类存储全部的13维字段。通过类的初始化操作得到初始的3个类。

1.1）在所有类中选择出可以再进行分裂且存储代价减少最大的类，当所有的类都无法进行分裂时，则结束分裂操作；

1.2）根据共存关系和冲突关系对选择的类进行分裂，得到该类分裂后产生的两个类；

1.3）删除被分裂类，并加入新产生的两个类，产生新的类结构；

我们先选择类{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV4_SRC,IPV4_DST,IPV6_SRC,IPV6_DST,TCP_SRC,TCP_DST,UDP_SRC,UDP_DST}进行分裂，得到类{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV4_SRC,IPV4_DST,TCP_SRC,TCP_DST,UDP_SRC,UDP_DST}和类{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV6_SRC,IPV6_DST,TCP_SRC,TCP_DST,UDP_SRC,UDP_DST}，然后选择类{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV6_SRC,IPV6_DST,TCP_SRC,TCP_DST,UDP_SRC,UDP_DST}进行分裂。

则得到的3个初始类结构为{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV4_SRC,IPV4_DST,TCP_SRC,TCP_DST,UDP_SRC,UDP_DST}、{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV6_SRC,IPV6_DST,TCP_SRC,TCP_DST}和{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV6_SRC,IPV6_DST,UDP_SRC,UDP_DST}。并分别对应命名为类A、类B和类C。

（2）将初始的3000条流表项分别加入到上述3个类中。

2.1）迭代上述3个类，把每个类的有效字段集合对应向量中每一位减去流表项中对应的向量位，得到向量位差值绝对值之和以及向量位差值之和；

2.2）比较这两个值，当二者相等时，则该流表项可以加入到该类中；

2.3）在所有可能加入的类中选择存储代价最小的类；

2.4）返回该流表项加入的类。

（3）将新流表项加入到已有的3个类中，然后判断新加入的流表项条数是否超过给定阀值200，如果新加入的流表项条数超过给定阀值200时，将现有的3个类分裂成4个类。

3.1）选择一个未进行预分裂的类，根据共存关系和冲突关系对该类进行预分裂操作，得到分裂可能产生的两个类，并计算该分裂情况下将会减少的存储空间大小；

3.2）遍历所有类，如果存在未被选择进行预分裂的类，则返回（3.1），否则进入（3.3）；

3.3）从多种预分裂情况中选择某一个类c进行分裂，使得减少的存储空间最大，并将该类中所有的流表项加入到分裂后得到的两个类中；

3.4）删除被分裂的类，添加分裂得到的新类。

我们先选择类A进行预分裂计算，假设类A可以分裂成类A1{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV4_SRC,IPV4_DST,TCP_SRC,TCP_DST}和类A2{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV4_SRC,IPV4_DST,UDP_SRC,UDP_DST}，遍历类A中的所有流表项，分别预加入到类A1和类A2中，则减少的存储空间为：

类A存储代价*类A流表项条数–类A1存储代价*类A1流表项条数-类A2存储代价*类A2流表项条数。

然后再考虑类A分裂成类A3和类A4的情况下减少的存储空间。同理考虑类B和类C分裂后存储空间的减少情况，从多种预分裂的情况中选择存储空间减少最大的情况。假设在类A、类B和类C的所有分裂的情况中，类A分裂成类A1和类A2时存储空间减少最大。

则类存储结构进行分裂调整后得到的4个类分别为：类A1{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV4_SRC,IPV4_DST,TCP_SRC,TCP_DST}、A2{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV4_SRC,IPV4_DST,UDP_SRC,UDP_DST}、类B{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV6_SRC,IPV6_DST,TCP_SRC,TCP_DST}和类C{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV6_SRC,IPV6_DST,UDP_SRC,UDP_DST}。

（4）当类存储结构进行分裂调整之后，判断现有类的个数是否超过给定的类个数限定阀值。当超过限定阀值时，则对现有类进行类合并操作。在上述（3）中我们得到4个类，超过给定的类限定阀值3，则进行类合并操作。

4.1）在现有类中任意选取两个类，并且这两个类没有进行过与合并操作，预合并这两个类得到一个新的类结构，计算合并过程中增加的存储空间；

4.2）遍历所有的合并可能，选择增加存储空间最小的合并情况；

4.3）对最终选定的2个类进行合并，同时将这两个类中的所有流表项加入到新的类中；

4.4）删除被合并的两个类，加入新得到的类。

假设我们选择类B和类C进行合并，则合并后得到的类为{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV6_SRC,IPV6_DST,TCP_SRC,TCP_DST,UDP_SRC,UDP_DST}，计算合并后增加的存储空间：

合并后的类存储代价*合并后的类中流表项条数–类B的存储代价*类B的流表项条数–类C的存储代价*类C的流表项条数。

同理考虑其他的类合并情况，如类A1和类B合并，类A2和类C合并等等，计算这些情况下合并增加的存储空间。从多种预合并情况中选择存储空间增加最小的情况。假设在这次合并过程中，类B和类C合并之后增加的存储空间增加最小。

则存储类结构进行合并调整后得到的3个类分别为：类A1{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV4_SRC,IPV4_DST,TCP_SRC,TCP_DST}、A2{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV4_SRC,IPV4_DST,UDP_SRC,UDP_DST}、类{IN_PORT,ETH_DST,ETH_SRC,ETH_TYPE,IP_PROTO,IPV6_SRC,IPV6_DST,TCP_SRC,TCP_DST,UDP_SRC,UDP_DST}。

之后重新计算新加入流表项条数。重复之前的流表项更新和存储类结构的调整操作。

根据大量实验结果，当类的个数不小于4时，所述OpenFlow流表存储空间压缩方法对流表存储空间的压缩率能稳定在70%左右。而且，所述方法可以用更少的运行时间获得与最优方法相似的空间压缩率；两种方法的运行时间如图4所示，压缩率如表1所示。表1中的压缩率通过公式（1）获得，其中动态调整阀值为200，类的限定阀值为10。

表1比较所述OpenFlow流表存储空间压缩方法和最优算法的压缩率

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims

1.一种OpenFlow流表存储空间压缩方法，其步骤包括：

1)根据OpenFlow流表的结构，确定同一传输单元中流表项字段之间的冲突关系与共存关系；所述冲突关系是指不能在同一传输单元中同时出现的字段，所述共存关系是指能够在同一传输单元中同时出现的字段；

2)利用所述冲突关系与共存关系对OpenFlow流表进行分类，将字段可共存的流表项划分到一个类中、字段不可共存的流表项划分到不同类中进行存储；

3)将初始流表项添加到划分好的OpenFlow流表类中；

4)根据OpenFlow流表的频繁、快速更新特性设定动态调整阀值，当新加入的流表项条数超过限定的阀值时，对现有的类进行分裂操作，当类的个数超过限定的阀值时，对现有的类进行合并操作，以优化流表存储空间；

进行所述分裂操作的方法为：将下一条新流表项加入到某个类中，列举所有对该类进行预分裂成两个类的可能的操作，并计算每种可能的分裂情况下的存储空间大小；通过比较所有可能的分裂情况下所计算出的存储空间大小，选择存储空间减少最多的一个分裂情况；将该类按照这种方式进行分裂成两个类，并删除原类；

进行所述合并操作的方法为：列举所有选择任意两个类进行预合并成一个类的可能情况，并计算每种可能的合并情况下的存储空间大小；通过比较所有可能的合并情况下计算出的存储空间大小，选择存储空间增加最少的一个合并可能；合并这两个类产生一个新类。

2.如权利要求1所述的方法，其特征在于：步骤2)对流表进行划分的具体方法为：利用所述冲突关系与共存关系，将初始流表划分成两个类，在所划分的两个类中选择出可以再进行分裂且存储代价最大的类，再利用所述冲突关系与共存关系划分成两个类，以此类推；如果所有的类都已进行过分裂或类的分裂个数大于类的限定阀值时，结束分裂操作；其中存储代价表示该类存储的有效字段所占用的字节数。

3.如权利要求1所述的方法，其特征在于：步骤3)通过迭代步骤2)已经划分的所有类，把每个类的有效字段集合所对应向量中的每一位减去流表项中对应的向量位，得到向量位差值绝对值之和以及向量位差值之和；比较这两个值，当二者相等时，则该流表项可以加入到该类中；在所有可能加入的类中选择存储代价增加最小的类完成加入。

4.如权利要求1所述的方法，其特征在于，进行所述分裂操作时计算减小的存储空间的方法为：假设选择类A进行预分裂计算，将其分裂成类A1和类A2，则遍历类A中的所有流表项，分别预加入到类A1和类A2中，减少的存储空间为：类A存储代价*类A流表项条数–类A1存储代价*类A1流表项条数-类A2存储代价*类A2流表项条数。

5.如权利要求1所述的方法，其特征在于：进行所述合并操作时计算增加的存储空间的方法为：假设选择类B和类C进行合并，合并后增加的存储空间为：合并后的类存储代价*合并后的类中流表项条数–类B的存储代价*类B的流表项条数–类C的存储代价*类C的流表项条数。

6.如权利要求1所述的方法，其特征在于：OpenFlow流表项字段采用OpenFlow1.3标准支持的所有字段。

7.如权利要求1所述的方法，其特征在于：对类的分裂个数限定的阀值不小于4。