CN103220231B

CN103220231B - 一种HiNOC数据流处理系统及方法

Info

Publication number: CN103220231B
Application number: CN201210017867.9A
Authority: CN
Inventors: 卢刘明; 张云平
Original assignee: SHANGHAI B-STAR BROADBAND TECHNOLOGY Co Ltd
Current assignee: SHANGHAI B-STAR BROADBAND TECHNOLOGY Co Ltd
Priority date: 2012-01-19
Filing date: 2012-01-19
Publication date: 2016-04-06
Anticipated expiration: 2032-01-19
Also published as: CN103220231A

Abstract

本发明提供一种HiNOC数据流处理系统及方法，该方法包括以下步骤：步骤一，HiNOC数据流处理系统通过匹配规则对数据流进行过滤与分类，将数据流分成多个匹配字段；步骤二，对所述匹配字段的属性进行定位；步骤三，将定位后的匹配字段存储到优先级队列中的对应定位位置。本发明以硬件方式实现了HINOC协议支持的高速同轴接入网络的L2/L3/L4层数据流处理功能，有效地保证了EOC网络各类业务的服务质量，实现带宽分配的公平性，满足大容量数据流的吞吐需要，数据流处理效率高，而且能根据不同的业务流优先级对数据包进行相应的处理，达到了硬件设计对网络具体功能的无依赖性。

Description

一种HiNOC数据流处理系统及方法

技术领域

本发明属于信息处理技术领域，涉及一种数据处理方法，具体涉及一种HiNOC数据流处理系统及方法。

背景技术

HiNOC(HighperformanceNetworkOverCoax，高性能同轴网络)用户接入技术是一种基于同轴电缆的射频调制技术。该技术利用有线电视网同轴电缆的网络布线，通过增加HiNOCBridge(HB)和HiNOCModem(HM)等相关设备，实现高速和高质量多业务接入，可承载包括IPTV、VOD、VOIP、高速上网等多种宽带业务的应用。也就是说，HiNOC系统除了承载作为目前基本业务的CATV广播业务(包括模拟和数字电视节目)以外，还必须能够提供对IP业务的承载支持。HiNOC使用860MHz以上的空余频段进行以IP为主的数据信号传输。HiNOC采用16MHz频带作为一个数据传输信道，采用QAM的调制方法。IP业务包括语音(即VoIP)、数据(如HTTP浏览、FTP下载、网络游戏等)和视频(如基于IP的组播、点播标清和高清视频业务以及IPTV、视频会议)。不同类型的IP业务对带宽、时延、抖动以及丢包等业务传输特性的要求也不同。因此，HiNOC的数据流处理不但要满足大容量数据流的处理要求，还要具备智能的数据流处理机制，能够根据不同的业务流优先级对数据包进行相应的处理。

传统的网络数据流处理采用软件处理的方式，不但加重了CPU的负担，而且处理效率低，难以满足大容量数据流的吞吐需要。目前有些方案采用通过协处理器进行数据流处理的方式，由于协处理器的设计与网络具体功能需求绑定在一起，一旦网络功能需求变更，协处理就要重新进行设计实现，难以满足灵活多变的网络功能实现要求。同时，在基于同轴电缆传输的HiNOC系统中，由于同轴电缆的传输特性以及三网融合业务的承载要求，都对数据流的处理机制提出了更高的要求，通常的二层交换机所采用的网络数据流处理方法不能完全满足HiNOC数据流处理的要求。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种HiNOC数据流处理系统及方法，该系统和方法是通过硬件实现的，能够满足EOC网络对三网融合业务的承载要求，同时能够实现大容量数据流的吞吐。

为实现上述目的及其他相关目的，本发明提供一种HiNOC数据流处理系统及方法。

一种HiNOC数据流处理系统，所述HiNOC数据流处理系统包括高性能同轴网络MAC模块、以太网MAC模块、协处理器、处理器；所述高性能同轴网络MAC模块用以输入/输出HiNOC数据流；所述以太网MAC模块用以输入/输出以太网数据流；所述协处理器分别与高性能同轴网络MAC模块和以太网MAC模块通信相连，用以对HiNOC数据流和以太网数据流进行过滤分类，并缓存到对应的优先级队列中；所述处理器与协处理器相连，用以对优先级队列中存储的数据进行调取处理，并将处理后的数据重新存储回原队列。

作为本发明的一种优选方案，所述协处理器包括上行流分类引擎模块，上行队列缓存模块，下行流分类引擎模块，下行队列缓存模块；所述上行流分类引擎模块与高性能同轴网络MAC模块通信相连，用以通过匹配规则对高性能同轴网络MAC模块输出的HiNOC数据流进行过滤、分类；所述上行队列缓存模块与上行流分类引擎模块相连，用以存储过滤分类后的HiNOC数据；所述下行流分类引擎模块与以太网MAC模块通信相连，用以通过匹配规则对以太网MAC模块输出的以太网数据流进行过滤、分类；所述下行队列缓存模块与下行流分类引擎模块相连，用以存储过滤分类后的以太网数据。

作为本发明的另一种优选方案，所述上行队列缓存模块与以太网MAC模块相连，用以将存储的HiNOC数据通过以太网MAC模块传输到以太网上；所述上行队列缓存模块与处理器相连，所述处理器对上行队列缓存模块中存储的HiNOC数据进行调取处理；所述下行队列缓存模块与高性能同轴网络MAC模块相连，用以将存储的以太网数据通过高性能同轴网络MAC模块传输到高性能同轴网络上；所述下行队列缓存模块与处理器相连，所述处理器对下行队列缓存模块中存储的以太网数据进行调取处理。

一种HiNOC数据流处理方法，包括以下步骤：

步骤一，HiNOC数据流处理系统通过匹配规则对数据流进行过滤与分类，将数据流分成多个匹配字段；

步骤二，对所述匹配字段进行定位，确定匹配字段的属性；

步骤三，根据匹配字段的属性将匹配字段存储到优先级队列中的对应位置。

作为本发明的一种优选方案，所述匹配规则是由一系列匹配条款组成的与运算；所述匹配条款包括匹配字段、匹配操作、匹配条件；所述匹配字段是被匹配数据流的特定区域的一个连续的比特串。

作为本发明的另一种优选方案，所述匹配字段的属性包括D-Word属性、Offset属性、Width属性；所述D-Word属性表示该匹配字段属于数据流中的第n个32bit；所述Offset属性表示该匹配字段在当前D-Word中从第m位开始；所述Width属性表示该匹配字段的长度，最大不超过32bit。

如上所述，本发明所述的HiNOC数据流处理系统及方法，具有以下有益效果：

本发明以硬件方式实现了HINOC协议支持的高速同轴接入网络的L2/L3/L4层数据流处理功能，有效地保证了EOC网络各类业务的服务质量(QoS)，实现带宽分配的公平性，满足大容量数据流的吞吐需要，数据流处理效率高，而且能根据不同的业务流优先级对数据包进行相应的处理，达到了硬件设计对网络具体功能的无依赖性。

附图说明

图1为本发明所述的HiNOC数据流处理系统的结构框图。

图2为本发明所述的HiNOC数据流处理方法的流程示意图。

图3为本发明所述的匹配字段定位示意图。

图4为实施例二所述的VLAN处理相关字段的定位示意图。

图5为实施例三所述的MLD处理相关字段的定位示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

HINOC(HighperformanceNetworkOverCoax，高性能同轴网络)是我国自主研发的高性能同轴电缆双向宽带接入技术。本发明的目的是提供一种基于硬件实现的HiNOC数据流处理系统，及方法主要实现以下功能：

(1)支持QOS：支持对报文添加默认2层或3层的优先级；支持基于网络2/3/4层字段的流分类；支持对报文进行重标记；支持队列映射功能，支持将指定优先级的报文映射到目标队列转发；支持严格优先级的调度模式。

(2)支持流量管理：支持对出口，入口流量的管理，对出口报文进行流量整形，限速，对入口报文进行风暴抑制，限速等操作。

(3)特殊管理/控制报文处理：例如支持对IGMPSnooping、MLDSnooping，或DHCPOption82报文的处理。

本发明以硬件方式实现HINOC协议支持的高速同轴接入网络的L2/L3/L4层数据流处理功能，有效地保证了EOC网络各类业务的服务质量(QoS)，实现带宽分配的公平性，并达到了硬件设计对网络具体功能的无依赖性。

下面结合附图对本发明的具体实施方式作进一步详细说明。

实施例一

本实施例提供一种HiNOC数据流处理系统，如图1所示，包括：

高性能同轴网络MAC(HiNOCMAC)模块，用以输入/输出HiNOC数据流；

以太网MAC(EthernetMAC)模块，用以输入/输出以太网数据流；

协处理器，分别与高性能同轴网络MAC模块和以太网MAC模块通信相连，用以对HiNOC数据流和以太网数据流进行分类和优先级标识，并缓存到对应的优先级队列中；

处理器(CPU)，与协处理器相连，用以对优先级队列中存储的数据进行调取处理，并将处理后的数据重新存储回原队列。

其中，协处理器包括上行流分类引擎模块、上行队列缓存模块(上行队列Buffer)、下行流分类引擎模块、下行队列缓存模块(下行队列Buffer)；所述上行流分类引擎模块与高性能同轴网络MAC模块通信相连，用以对高性能同轴网络MAC模块输出的HiNOC数据流进行过滤、分类和优先级标识等操作，然后存储到上行队列缓存模块中相应的位置；所述下行流分类引擎模块与以太网MAC模块通信相连，用以对以太网MAC模块输出的以太网数据流进行过滤、分类和优先级标识等操作，然后存储到下行队列缓存模块中相应的位置。

所述HiNOC数据流处理系统利用调度策略，根据高层业务数据所指示的优先级、业务类型还有其他QoS参数，各类业务数据帧在被标识为不同优先级，并缓存到对应的优先级队列中。然后，根据调度算法来决定队列中分组的发送策略。

所述HiNOC数据流处理系统通过匹配规则来进行数据流的过滤与分类，该数据流分类过程在所述协处理器中实现。匹配规则是由一系列匹配条款组成的与运算，并且定义了当匹配规则满足时的行为和匹配规则不满足时的行为(Action)，如丢弃，区别转发等。匹配规则的表达式如下所示：

if(<Clause1>AND<Clause2>...AND<Clausen>)then<Action1>else<Action2>

其中，匹配条款(Clause)是由匹配字段+匹配操作+匹配条件组成。常见的匹配操作包括大于，等于，小于，不等于，包含，不包含等等。匹配字段指向被匹配报文的特定区域的一个连续的比特(bit)串，匹配字段是分类条款和分类规则的组成元素，匹配字段的最大长度为32bit，典型的字段如常见的报文中不同层次头中的地址，优先级和协议号等等。匹配条件即匹配操作的依据。典型的分类条款(Clause)如：<Layer2EtherType><equal><0x8100>。常见的行为(Action)包括进入指定队列(Queue)，丢弃(Discard)，插入/删除/修改报文字段(QoS标记，QoS重标记，添加删除vlan，vlan转换等)，复制/重定向到CPU，重定向到某个目的地，镜像到某个分析端口，包统计等。

在进行匹配字段定位时，由于数据报文中某些字段为可选或协议头长度不确定，无法直接利用基地址加偏移量的简单算法来定位。因此，为解决该问题，采用字段分组的方式将数据报文分成若干段，每个段指定一个基地址，利用各自段的基地址加上段内偏移量的方式来对属于本段内的字段进行定位。分段之后，根据报文中的可选字段是否存在和判定不定长协议头的确切长度来计算各分段的基地址。在匹配字段定位实现过程中，通过硬件转发引擎(如上行流分类引擎模块和下行流分类引擎模块)根据对报文的某些判断结果进行自动跳转寻址。如图2所示，匹配字段的分段用如下三个属性表示，用来快速计算字段所在位置：

D-Word属性表示该字段属于报文中的第n个32bit；

Offset属性表示该字段在当前D-Word中从第m位开始；

Width属性表示该字段的长度，最大不超过32bit。

例如，假设EtherType是Layer2的字段，按照上面定义的字段分组方法，EtherType所属的分组号为2。在Layer2中EtherType位于基地址开始的第一个32bit串中，所以D-Word属性为0(从0开始表示)，从第一个32bit串的开始的16bit长为EtherType，所以offset属性为0，Width属性为16bit长，如表1所示。

表1：字段EtherType的属性表

此表中用0来表示1位，这样的话32位就可以用11111来表示，表示的范围是1-32位。

综上所述，参见图3，本发明所述的HiNOC数据流处理系统的处理方法可总结为以下步骤：

S1，HiNOC数据流处理系统通过匹配规则对数据流进行过滤与分类，将数据流分成多个匹配字段；所述匹配规则是由一系列匹配条款组成的与运算；所述匹配条款包括匹配字段、匹配操作、匹配条件；所述匹配字段是被匹配数据流的特定区域的一个连续的比特串。

S2，对所述匹配字段进行定位，确定匹配字段的属性；所述匹配字段的属性包括D-Word属性、Offset属性、Width属性；所述D-Word属性表示该匹配字段属于数据流中的第n个32bit；所述Offset属性表示该匹配字段在当前D-Word中从第m位开始；所述Width属性表示该匹配字段的长度，最大不超过32bit。

S3，根据匹配字段的属性将匹配字段存储到优先级队列中的对应位置。

本发明针对传统的网络数据流处理存在处理效率低、协处理器的设计与网络具体功能需求绑定在一起，不能完全适合同轴电缆的传输特性以及三网融合业务的承载要求的缺点，提出一种基于硬件实现的HiNOC数据流处理系统及方法，具有以下优点：

1)完全基于HINOC协议进行设计实现，满足EOC(基于同轴电缆的以太网)网络对三网融合业务的承载要求；

2)基于硬件实现进行设计，满足大容量数据流的吞吐需要，数据流处理效率高；

3)具有智能的数据流处理机制，能根据不同的业务流优先级对数据包进行相应的处理；

4)实现硬件设计对网络具体功能的无依赖性，可以灵活地满足不同的网络功能需求。

实施例二

本实施例以VLAN处理为例，描述了HiNOC数据流处理方法的实现过程，具体内容为：

在VLAN处理中，与VLAN相关的字段如图4所示。当处理“当VLANID在80～100之间时要完成某个动作”这个数据流操作时，需确定匹配规则，然后再按照匹配规则进行数据流的处理。该操作对应的匹配规则需要进行三个条款匹配。假设

第一个条款，根据指定的偏移，对TPID进行匹配；如果TPID＝0x8100，说明VLAN存在；

第二个条款，根据指定的偏移，取出VID与指定的值，即100，进行小于等于操作；

第三个条款，根据指定的偏移，取出VID与指定的值，即80，进行大于等于操作；

三个条款都匹配时，匹配成功，否则不匹配。其匹配规则的表达式为：

if(<Layer＝2，Dword＝3，Offset＝0，Width＝16bits><|＝|><0x8100>&

<Layer＝2，Dword＝3，Offset＝20，Width＝12bits><|<＝|><100>&

<Layer＝2，Dword＝3，Offset＝20，Width＝12bits><|>＝|><80>

)then<Action>(指定的行为)。

实施例三

本实施例以MLD协议报文处理为例，描述了HiNOC数据流处理方法的实现过程，具体内容为：

在IPv6组播MLD协议报文处理中，与MLD协议相关的字段如图5所示。当处理“当流中包含MLD报文时，完成某个动作”这个数据流操作时，需确定匹配规则，然后再按照匹配规则进行数据流的处理。该操作对应的匹配规则需要进行三个条款匹配。假设

第一个条款，根据层3基地址指定的偏移，对IP协议版本进行匹配，为6，说明为IPv6帧；

第二个条款，根据层3基地址指定的偏移，取出NextHeader的协议字段，为58，说明是ICMPv6协议；

第三个条款，根据层3基地址指定的偏移，取出ICMPv6包的类型(Type)字段，为130，131或132；

if(<Layer＝3，Dword＝0，Offset＝0，Width＝4bits><|＝|><6>&

<Layer＝3，Dword＝1，Offset＝16，Width＝8bits><|＝|><58>&

<Layer＝3，Dword＝10，Offset＝0，Width＝8bits><|>＝|><130>&

<Layer＝3，Dword＝10，Offset＝0，Width＝8bits><|<＝|><132>

)then<Action>(指定的行为)。

所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种HiNOC数据流处理系统，其特征在于，所述HiNOC数据流处理系统包括：

高性能同轴网络MAC模块，用以输入/输出HiNOC数据流；

以太网MAC模块，用以输入/输出以太网数据流；

协处理器，分别与高性能同轴网络MAC模块和以太网MAC模块通信相连，用以对HiNOC数据流和以太网数据流进行过滤分类，并缓存到对应的优先级队列中；所述HiNOC数据流处理系统通过匹配规则对数据流进行过滤与分类，将数据流分成多个匹配字段，对所述匹配字段进行定位，确定匹配字段的属性，根据匹配字段的属性将匹配字段存储到优先级队列中的对应位置；其中，对所述匹配字段进行定位的过程包括：采用字段分组的方式将数据报文分成若干段，每个段指定一个基地址，利用各自段的基地址加上段内偏移量的方式来对属于本段内的字段进行定位；

处理器，与协处理器相连，用以对优先级队列中存储的数据进行调取处理，并将处理后的数据重新存储回原队列。

2.根据权利要求1所述的HiNOC数据流处理系统，其特征在于，所述协处理器包括：

上行流分类引擎模块，与高性能同轴网络MAC模块通信相连，用以通过匹配规则对高性能同轴网络MAC模块输出的HiNOC数据流进行过滤、分类；

上行队列缓存模块，与上行流分类引擎模块相连，用以存储过滤分类后的HiNOC数据；

下行流分类引擎模块，与以太网MAC模块通信相连，用以通过匹配规则对以太网MAC模块输出的以太网数据流进行过滤、分类；

下行队列缓存模块，与下行流分类引擎模块相连，用以存储过滤分类后的以太网数据。

3.根据权利要求2所述的HiNOC数据流处理系统，其特征在于：所述上行队列缓存模块与以太网MAC模块相连，用以将存储的HiNOC数据通过以太网MAC模块传输到以太网上；所述上行队列缓存模块与处理器相连，所述处理器对上行队列缓存模块中存储的HiNOC数据进行调取处理；所述下行队列缓存模块与高性能同轴网络MAC模块相连，用以将存储的以太网数据通过高性能同轴网络MAC模块传输到高性能同轴网络上；所述下行队列缓存模块与处理器相连，所述处理器对下行队列缓存模块中存储的以太网数据进行调取处理。

4.一种HiNOC数据流处理方法，其特征在于，包括以下步骤：

步骤二，对所述匹配字段进行定位，确定匹配字段的属性；其中，对所述匹配字段进行定位的过程包括：采用字段分组的方式将数据报文分成若干段，每个段指定一个基地址，利用各自段的基地址加上段内偏移量的方式来对属于本段内的字段进行定位；

5.根据权利要求4所述的HiNOC数据流处理方法，其特征在于：所述匹配规则是由一系列匹配条款组成的与运算；所述匹配条款包括匹配字段、匹配操作、匹配条件；所述匹配字段是被匹配数据流的特定区域的一个连续的比特串。

6.根据权利要求4所述的HiNOC数据流处理方法，其特征在于：所述匹配字段的属性包括D-Word属性、Offset属性、Width属性；所述D-Word属性表示该匹配字段属于数据流中的第n个32bit；所述Offset属性表示该匹配字段在当前D-Word中从第m位开始；所述Width属性表示该匹配字段的长度，最大不超过32bit。