CN103220223B - 网络数据流分类方法和系统 - Google Patents

Abstract

本发明提出一种网络数据流分类方法，包括如下步骤：建立最长前缀匹配lpm表，其中，lpm表中的每项为端口范围表，并且每个端口范围表对应一项服务；当接收到服务数据时，获取服务数据的目的ip，并根据服务数据对应的端口范围表获取服务数据的目的端口，并查找到服务数据的源ip对应的哈希表，根据哈希表进行哈希查找以获取服务数据的源ip；根据服务数据的源ip获取服务数据的类型。本发明将lpm算法和哈希表相结合，查找速率高，可伸缩性好，提高传输质量，降低传输成本。本发明还公开了一种网络数据流分类系统。

Description

网络数据流分类方法和系统

技术领域

本发明涉及互联网技术领域，特别涉及一种网络数据流分类方法和系统。

背景技术

随着互联网的发展以及不同业务服务的出现，各种服务之间对于不同Qos(QualityofService，服务质量保证)级别的需求愈发强烈。一种解决方案是使用流分类方法。流分类方法根据数据包头部的一个或者若干字段决定该数据包隶属的流，为不同的流提供不同的服务。对流的差别服务的实现基于流分类算法。目前的流分类算法主要存在的问题是查找比较耗时，伸缩性差。

例如，目前应用的路由表中最长前缀匹配（lpm）算法是一种一维流分类算法，将去往同一个目的网络的数据包设置为属于同一个流。lpm算法具有很好的伸缩性，但是不支持多维的流分类，因此没有多维流分配的特点。

目前流分类算法主要应用的数据结构有三种，分别为线性表、树和哈希表。不同的数据结构在查找速度和内存利用率上各有优势，但要实现可伸缩难度较大。如线性表的查找时间随着规则的增多线性增长，不具有可伸缩性。利用树和哈希表作为数据结构，查找虽然较快，要实现增删规则的可伸缩性也十分困难。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种网络数据流分类方法，将lpm算法和哈希表相结合，查找速率高，可伸缩性好，提高传输质量，降低传输成本。

本发明的第二个目的在于提出一种网络数据流分类系统。

为达到上述目的，本发明第一方面的实施例提出了一种网络数据流分类方法，包括如下步骤：建立最长前缀匹配lpm表，其中，所述lpm表中的每项为端口范围表，并且每个所述端口范围表对应一项服务；当接收到服务数据时，获取所述服务数据的目的ip，并根据服务数据对应的端口范围表获取所述服务数据的目的端口，并查找到所述服务数据的源ip对应的哈希表，根据所述哈希表进行哈希查找以获取所述服务数据的源ip；根据所述服务数据的源ip获取所述服务数据的类型。

根据本发明实施例的网络数据流分类方法，将传统lpm算法改进为多维流分类算法，可伸缩性好。使用哈希表作为数据结构，查找速度快，由于是多维流分类，可对不同的数据流采用不同的服务，从而提高传输质量，降低传输成本。

在本发明的一个实施例中，还包括如下步骤：通过添加或删除所述端口范围以添加或删除相关服务。

在本发明的一个实施例中，当添加一个所述服务时，如果添加的端口范围的深度大于之前的端口范围的深度，则以所述添加的端口范围覆盖之前的端口范围；如果添加的端口范围的深度等于之前的端口范围的深度，则将所述添加的端口范围添加到所述lpm表的链表；如果添加的端口范围的深度小于之前的端口范围的深度，则放弃添加。

在本发明的一个实施例中，当删除所述服务时，如果所述lpm表对应的服务全部删除，则查找所述端口范围的深度小的规则；查找到填充规则的lpm表项，将所述填充规则的lpm表项全部复制到被填充规则的表项。

在本发明的一个实施例中，所述服务包括数据压缩和服务质量保证。

本发明第二方面的实施例提出了一种网络数据流分类系统，包括建立装置、获取装置和查找装置。

其中，建立装置用于建立最长前缀匹配lpm表，其中，所述lpm表中的每项为端口范围表，并且每个所述端口范围表对应一项服务；获取装置用于在接收到服务数据时，获取所述服务数据的目的ip，并根据服务数据对应的端口范围表获取所述服务数据的目的端口，以及获取所述服务数据的源ip获取所述服务数据的类型；查找装置用于查找到所述服务数据的源ip对应的哈希表，根据所述哈希表进行哈希查找以获取所述服务数据的源ip。

根据本发明实施例的网络数据流分类系统将传统lpm算法改进为多维流分类算法，可伸缩性好。使用哈希表作为数据结构，查找速度快，由于是多维流分类，可对不同的数据流采用不同的服务，从而提高传输质量，降低传输成本。

在本发明的一个实施例中，服务处理装置，用于通过添加或删除所述端口范围以添加或删除相关服务。

在本发明的一个实施例中，所述服务处理装置用于当添加一个所述服务时，如果添加的端口范围的深度大于之前的端口范围的深度，则服务处理装置以所述添加的端口范围覆盖之前的端口范围；如果添加的端口范围的深度等于之前的端口范围的深度，则服务处理装置将所述添加的端口范围添加到所述lpm表的链表；如果添加的端口范围的深度小于之前的端口范围的深度，则服务处理装置放弃添加。

在本发明的一个实施例中，所述服务处理装置当删除所述服务时，如果所述lpm表对应的服务全部删除，则查找所述端口范围的深度小的规则；查找到填充规则的lpm表项，将所述填充规则的lpm表项全部复制到被填充规则的表项。

在本发明的一个实施例中，所述服务包括数据压缩和服务质量保证。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例的网络数据流分类方法的流程图；

图2是根据本发明实施例的数据结构组织关系图；和

图3是根据本发明实施例的网络数据流分类系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

下面参考图1描述根据本发明实施例的网络数据流分类方法，包括如下步骤：

步骤S110：建立最长前缀匹配lpm表，其中，lpm表中的每项为端口范围表，并且每个端口范围表对应一项服务。

步骤S120：当接收到服务数据时，获取服务数据的目的ip，并根据服务数据对应的端口范围表获取服务数据的目的端口，并查找到服务数据的源ip对应的哈希表，根据哈希表进行哈希查找以获取服务数据的源ip。

步骤S130：根据服务数据的源ip获取服务数据的类型。

还包括如下步骤：通过添加或删除端口范围以添加或删除相关服务。

服务包括数据压缩和服务质量保证。

具体地，添加服务有如下三种情况：

（一）、当添加一个服务时，如果添加的端口范围的深度大于之前的端口范围的深度，则以添加的端口范围覆盖之前的端口范围。

（二）、如果添加的端口范围的深度等于之前的端口范围的深度，则将添加的端口范围添加到lpm表的链表。

（三）、如果添加的端口范围的深度小于之前的端口范围的深度，则放弃添加。

删除服务有如下两种情况：

（一）、当删除服务时，如果lpm表对应的服务全部删除，则查找端口范围的深度小的规则。

（二）、查找到填充规则的lpm表项，将填充规则的lpm表项全部复制到被填充规则的表项。

下面以具体的例子对本方法进行说明。可以理解的是，本例仅出于示例目的，根据本发明的实施例不限于此。

图2为本方法中的数据结构组织关系图。本方法的数据结构通过三层的ip和四层的端口（port）来区分服务的类型，即到达同一个目的ip和端口的流使用同一个业务服务，再加上源ip（sourceip）即可确定流，从而进行基于业务的Qos等服务。如图2所示，tbl24有2到24个项，tbl8有2到8个项，tbl24和tbl8共同构成最长前缀匹配lpm表。本方法的lpm表与传统lpm路由表的区别为，本方法的lpm表中每项对应的不是下一条路由，而是端口范围，如图中portrange，其中端口范围由起始端口port_start和终止端口port_end确定，每个端口范围表对应一项服务。

步骤S210：本方法首先建立如图2所示的最长前缀匹配lpm表。

步骤S220：当接收到服务数据时，通过最长前缀匹配lpm表对应的端口范围表确定获取服务数据的目的端口，查找到服务数据的源ip（sourceip）对应的哈希表（图2中的Srciphash），对Srciphash做哈希查找，查找到的源ip（sourceip）。根据服务数据的源ip（sourceip）可确定一条流是否存在。

本方法考虑到目前的内网业务服务规划为了负载均衡和方便管理，通常为同一个服务划分一个端口范围。删除、添加一个端口范围（port_range）相当于删除、添加一个服务，从而做到基于业务服务的配置。类似的，删除一个源ip（srcip）相当于删除一条流，从而做到基于流的配置。本方法采用算法的时间复杂度为O(1)+O(1)+O(m)+O(l)，其中，m为服务项个数，l为源ip对应的哈希表中的冲突个数。

对于添加服务，遵循类似路由的优先级策略。如果添加的端口范围的深度（图2中的Depth）大于之前端口范围的深度，覆盖之前配置的端口范围。如果添加的端口范围的深度等于之前的端口范围的深度，将添加的端口范围加入到lpm表对应项的链表中。如果添加的端口范围的深度小于之前配置的端口范围的深度，将新的端口范围的深度视为无效的配置，放弃添加。

对于删除服务，如果lpm表对应项的服务全部被删除，即对应的链表设置为空，则可能存在端口范围的深度较小的规则来填充该对应项。为了查找到端口范围的深度较小的规则，增加规则表记录每个端口范围的深度的添加的规则。表1为规则表的一个实例，可以理解的是，表1仅出于示例目的，根据本发明的实施例不限于此。表1中的Depth为端口范围的深度，数值从1到32递增，对应每个Depth存储规则Rule。

表1

规则填充时，先找到填充规则的lpm表项，将该表项的规则复制到被填充的表项中。

作为路由查找算法，传统的lpm表具有可伸缩性，但是由于本方法的lpm表项对应的是链表，对其操作更为复杂。通过借用传统lpm算法的思想，引入端口范围的深度的概念，并在添加和删除时对规则进行保持伸缩性的处理，使得本算法具有可伸缩性。

根据本发明实施例的网络数据流分类方法，基于传统lpm算法改进为多维流分类算法，查找时间短，速度快，可伸缩性好。可以对私有数据中心进行流分类，并对不同的数据流采用不同的服务（Qos、数据压缩等），从而提高传输质量，降低传输成本。

下面参考图3描述根据本发明实施例的网络数据流分类系统100，包括建立装置110、获取装置120、查找装置130和服务处理装置140。

其中，建立装置110用于建立最长前缀匹配lpm表，其中，lpm表中的每项为端口范围表，并且每个端口范围表对应一项服务；获取装置120用于在接收到服务数据时，获取服务数据的目的ip，并根据服务数据对应的端口范围表获取服务数据的目的端口，以及获取服务数据的源ip获取服务数据的类型；查找装置130用于查找到服务数据的源ip对应的哈希表，根据哈希表进行哈希查找以获取服务数据的源ip。

其中，服务包括数据压缩和服务质量保证。

此外，服务处理装置140用于通过添加或删除端口范围以添加或删除相关服务。

服务处理装置140用于当添加一个服务时，如果添加的端口范围的深度大于之前的端口范围的深度，则服务处理装置140以添加的端口范围覆盖之前的端口范围；如果添加的端口范围的深度等于之前的端口范围的深度，则服务处理装置140将添加的端口范围添加到lpm表的链表；如果添加的端口范围的深度小于之前的端口范围的深度，则服务处理装置140放弃添加。

服务处理装置140当删除服务时，如果lpm表对应的服务全部删除，则查找端口范围的深度小的规则；查找到填充规则的lpm表项，将填充规则的lpm表项全部复制到被填充规则的表项。

下面以具体的例子对本系统进行说明。可以理解的是，本例仅出于示例目的，根据本发明的实施例不限于此。

图2为本系统的数据结构组织关系图。本系统的数据结构通过三层的ip和四层的端口（port）来区分服务的类型，即到达同一个目的ip和端口的流使用同一个业务服务，再加上源ip（sourceip）即可确定流，从而进行基于业务的Qos等服务。如图2所示，tbl24有2到24个项，tbl8有2到8个项，tbl24和tbl8共同构成最长前缀匹配lpm表。本系统的lpm表与传统lpm路由表的区别为，本系统的lpm表中每项对应的不是下一条路由，而是端口范围，如图中portrange，其中端口范围由起始端口port_start和终止端口port_end确定，每个端口范围表对应一项服务。

建立装置110建立如图2所示的最长前缀匹配lpm表。

当接收到服务数据时，获取装置120通过最长前缀匹配lpm表对应的端口范围表确定获取服务数据的目的端口。查找装置130查找到服务数据的源ip（sourceip）对应的哈希表（图2中的Srciphash），查找装置130对Srciphash做哈希查找，查找到源ip（sourceip）。根据服务数据的源ip（sourceip）可确定一条流是否存在。

本系统考虑到目前的内网业务服务规划为了负载均衡和方便管理，通常为同一个服务划分一个端口范围。删除、添加一个端口范围（port_range）相当于删除、添加一个服务，从而做到基于业务服务的配置。类似的，删除一个源ip（srcip）相当于删除一条流，从而做到基于流的配置。本系统采用算法的时间复杂度为O(1)+O(1)+O(m)+O(l)，其中，m为服务项个数，l为源ip对应的哈希表中的冲突个数。

服务处理装置140通过添加或删除端口范围以添加或删除相关服务。

对于添加服务，服务处理装置140遵循类似路由的优先级策略。如果添加的端口范围的深度（图2中的Depth）大于之前端口范围的深度，服务处理装置140覆盖之前配置的端口范围。如果添加的端口范围的深度等于之前的端口范围的深度，服务处理装置140将添加的端口范围加入到lpm表对应项的链表中。如果添加的端口范围的深度小于之前配置的端口范围的深度，服务处理装置140将新的端口范围的深度视为无效的配置，放弃添加。

对于删除服务，如果lpm表对应项的服务全部被删除，即对应的链表设置为空，则可能存在端口范围的深度较小的规则来填充该对应项。为了查找到端口范围的深度较小的规则，服务处理装置140增加规则表记录每个端口范围的深度的添加的规则。表1为规则表的一个实例，可以理解的是，表1仅出于示例目的，根据本发明的实施例不限于此。表1中的Depth为端口范围的深度，数值从1到32递增，对应每个Depth存储规则Rule。

规则填充时，服务处理装置140先找到填充规则的lpm表项，将该表项的规则复制到被填充的表项中。

作为路由查找算法，传统的lpm表具有可伸缩性，但是由于本系统的lpm表项对应的是链表，对其操作更为复杂。通过借用传统lpm算法的思想，引入端口范围的深度的概念，并在添加和删除时对规则进行保持伸缩性的处理，使得本系统的添加、删除规则具有可伸缩性。

根据本发明实施例的网络数据流分类系统，将基于传统lpm算法改进为多维流分类算法，查找时间短，速度快，可伸缩性好。可以对私有数据中心进行流分类，并对不同的数据流采用不同的服务（Qos、数据压缩等），从而提高传输质量，降低传输成本。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种网络数据流分类方法，其特征在于，包括如下步骤：

建立最长前缀匹配lpm表，其中，所述lpm表中的每项为端口范围表，并且每个所述端口范围表对应一项服务；

当接收到服务数据时，获取所述服务数据的目的ip，并根据服务数据对应的端口范围表获取所述服务数据的目的端口，并查找到所述服务数据的源ip对应的哈希表，根据所述哈希表进行哈希查找以获取所述服务数据的源ip；以及

根据所述服务数据的源ip获取所述服务数据的类型。

2.如权利要求1所述的方法，其特征在于，还包括如下步骤：通过添加或删除所述端口范围以添加或删除相关服务。

3.如权利要求2所述的方法，其特征在于，当添加一个所述服务时，如果添加的端口范围的深度大于之前的端口范围的深度，则以所述添加的端口范围覆盖之前的端口范围；

如果添加的端口范围的深度等于之前的端口范围的深度，则将所述添加的端口范围添加到所述lpm表的链表；

如果添加的端口范围的深度小于之前的端口范围的深度，则放弃添加。

4.如权利要求2所述的方法，其特征在于，当删除所述服务时，如果所述lpm表对应的服务全部删除，则查找所述端口范围的深度小的规则；

查找到填充规则的lpm表项，将所述填充规则的lpm表项全部复制到被填充规则的表项。

5.如权利要求1-4任一项所述的方法，其特征在于，所述服务包括数据压缩和服务质量保证。

6.一种网络数据流分类系统，其特征在于，包括：

建立装置，用于建立最长前缀匹配lpm表，其中，所述lpm表中的每项为端口范围表，并且每个所述端口范围表对应一项服务；

获取装置，用于在接收到服务数据时，获取所述服务数据的目的ip，并根据服务数据对应的端口范围表获取所述服务数据的目的端口，以及获取所述服务数据的源ip获取所述服务数据的类型；以及

查找装置，用于查找到所述服务数据的源ip对应的哈希表，根据所述哈希表进行哈希查找以获取所述服务数据的源ip。

7.如权利要求6所述的系统，其特征在于，服务处理装置，用于通过添加或删除所述端口范围以添加或删除相关服务。

8.如权利要求7所述的系统，其特征在于，所述服务处理装置用于当添加一个所述服务时，如果添加的端口范围的深度大于之前的端口范围的深度，则服务处理装置以所述添加的端口范围覆盖之前的端口范围；

如果添加的端口范围的深度等于之前的端口范围的深度，则服务处理装置将所述添加的端口范围添加到所述lpm表的链表；

如果添加的端口范围的深度小于之前的端口范围的深度，则服务处理装置放弃添加。

9.如权利要求7所述的系统，其特征在于，所述服务处理装置当删除所述服务时，如果所述lpm表对应的服务全部删除，则查找所述端口范围的深度小的规则；

查找到填充规则的lpm表项，将所述填充规则的lpm表项全部复制到被填充规则的表项。

10.如权利要求6-9任一项所述的系统，其特征在于，所述服务包括数据压缩和服务质量保证。