CN101801036A - 网络流量管理方法及系统、普通节点 - Google Patents

Abstract

本发明实施例涉及一种网络流量管理方法及系统、普通节点，其中方法包括：对网络流量的特征参数形成的特征向量进行归一化处理；根据预设权值对归一化后的特征向量进行加权，获取流量分类值；根据流量分类值更新已存储的流量优先级；根据流量优先级和网络流量的域标识将网络流量发送给与域标识相对应的节点。本发明实施例提供的网络流量管理方法及系统、普通节点，根据网络流量的特征向量获取到流量分类值，并根据流量分类值更新已存储的流量优先级，根据流量优先级和网络流量的域标识将网络流量路由至域标识相对应的节点，实现了动态调整网络流量的分配，降低了网络流量的排队延时和丢包率，提高了网络中路由处理网络拥塞的能力。

Description

网络流量管理方法及系统、普通节点

技术领域

本发明实施例涉及通信技术领域，尤其是一种网络流量管理方法及系统、普通节点。

背景技术

对等节点(Peer to Peer，简称：P2P)是一种作为共享和管理网络中海量信息资源的分布式计算模式，其主要思想是所有的节点之间的地位完全对等，追求自治个体和机构之间通过直接交换进行资源共享和服务，打破了传统的客户端/服务器(Client/Server，简称：C/S)结构，是未来互联网的发展方向。

由于移动P2P网络的带宽有限、存储和处理能力较低、链接的稳定性和电池使用周期短以及拓扑动态性，节点自身资源和处理能力的特征(例如：移动性、异构性、流量种类复杂性)等给移动计算环境带来了诸多困难。为了缓解困扰运营商的移动P2P流量的管理问题，现有技术采用深度包检测(DeepPacket Inspection，简称：DPI)技术进行流量识别和管控，通过在网络中部署具备DPI功能的设备对移动P2P流量进行识别，根据实际需要对移动P2P流量加以管控。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

随着移动P2P开始采用随机端口、协议变化快等因素的影响，并且DPI方式网络消耗大、适用范围较小，在动态环境下并不能提高移动P2P流量检测和传输的效率。

发明内容

本发明实施例的目的在于提供一种网络流量管理方法及系统、普通节点，提高移动P2P流量检测和传输的效率。

本发明实施例提供一种网络流量管理方法，包括：

对网络流量的特征参数形成的特征向量进行归一化处理；

根据预设权值对归一化后的所述特征向量进行加权，获取流量分类值；

根据所述流量分类值更新已存储的流量优先级；

根据所述流量优先级和所述网络流量的域标识将所述网络流量发送给与所述域标识相对应的节点。

本发明实施例提供一种普通节点，包括：

归一化处理模块，用于对网络流量的特征参数形成的特征向量进行归一化处理；

获取模块，用于根据预设权值对归一化后的所述特征向量进行加权，获取流量分类值；

更新模块，用于根据所述流量分类值更新已存储的流量优先级；

发送模块，用于根据所述流量优先级和所述网络流量的域标识将所述网络流量发送给与所述域标识相对应的节点。

本发明实施例提供一种网络流量管理系统，包括：一个超级节点和至少一个普通节点；

所述普通节点用于对网络流量的特征参数形成的特征向量进行归一化处理，根据预设权值对归一化后的所述特征向量进行加权，获取流量分类值，根据所述流量分类值更新已存储的流量优先级，根据所述流量优先级和所述网络流量的域标识将所述网络流量发送给与所述域标识相对应的节点；

若所述网络流量为网络系统中的所述普通节点所在网络流量管理系统以外的其它网络流量管理系统的网络流量，所述超级节点接收所述普通节点发送的网络流量汇总报告，根据所述汇总报告向所述普通节点下达路由命令，使得所述普通节点根据所述超级节点的路由命令将网络流量路由至网络系统中的其它网络流量管理系统中。

本发明实施例提供的网络流量管理方法及系统、普通节点，根据网络流量的特征向量获取到流量分类值，并根据流量分类值更新已存储的流量优先级，根据流量优先级和网络流量的域标识将网络流量路由至域标识相对应的节点，实现了动态调整网络流量的分配，降低了网络流量的排队延时和丢包率，提高了网络中路由处理网络拥塞的能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所适用网络系统的结构示意图；

图2为本发明网络流量管理方法一个实施例的流程示意图；

图3为本发明网络流量管理方法又一个实施例的流程示意图；

图4为图3所示实施例通过神经网络实现步骤302和步骤303的示意图；

图5为图4所示实施例中神经网络训练过程示意图；

图6为图3所示实施例中神经网络的性能分析示意图；

图7为本发明普通节点一个实施例的结构示意图；

图8为本发明普通节点又一个实施例的结构示意图；

图9为本发明网络流量管理系统一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例所适用网络系统的结构示意图，本发明实施例所适用的网络系统包括至少两个域，其中每一个域内包括一个超级节点、进入超级节点所管辖范围的至少一个普通节点；如图1所示，普通节点12对网络流量进行监测、统计，若网络流量为域10内的流量，普通节点12根据网络流量的路由信息将网络流量路由至域10内的其它普通节点；若网络流量为网络系统中的除域10外的域的网络流量，则普通节点12将网络流量汇总后向超级节点11汇报，超级节点11汇总并整合域10内的网络流量，向普通节点12下达路由命令，使得普通节点12通过超级节点11将网络流量路由至网络系统中的其它域内的超级节点。

可以理解的是，本发明实施例中所提到的普通节点包括但不限于具有无线通信能力的各种智能手机、普通手机、便携计算机、数据卡、无线猫等移动终端，所述超级节点包括但不限于具有运行稳定、计算能力强和存储空间大的普通节点或者网络服务器。

在上述网络系统中，通过实行分域管理，超级节点11和普通节点12构成混合式P2P网络模型，相对于纯分布式体系结构而言，本发明实施例所适用的半分布式体系结构减轻了超级节点11的计算和存储负载，并且混合式P2P网络模型提高了网络流量管理的效率，增加了网络系统的可用性和稳定性，提高了网络流量管理的可靠性。

图2为本发明网络流量管理方法一个实施例的流程示意图，如图2所示，本实施例包括如下步骤：

步骤201、普通节点对网络流量的特征参数形成的特征向量进行归一化处理；

步骤202、普通节点根据预设权值对归一化后的特征向量进行加权，获取流量分类值；

步骤203、普通节点根据流量分类值更新已存储的流量优先级；

步骤204、普通节点根据优先级表格中的优先级信息和网络流量的域标识将网络流量发送给与域标识相对应的节点。

本发明实施例提供的网络流量管理方法，根据网络流量的特征向量获取到流量分类值，并根据流量分类值更新已存储的流量优先级，根据流量优先级和网络流量的域标识将网络流量路由至域标识相对应的节点，实现了动态调整网络流量的分配，降低了网络流量的排队延时和丢包率，提高了网络中路由处理网络拥塞的能力。

图3为本发明网络流量管理方法又一个实施例的流程示意图，如图3所示，本实施例包括如下步骤：

步骤301、普通节点对网络流量的特征参数形成的特征向量进行归一化处理；

其中，特征参数向量包括了网络流量的流量包长度、数据包均值、数据包方等参数；由于特征参数为多个单位不同的数值，为了使网络流量的流量分类值为0～1之间，需要将特征向量进行归一化，例如：可以将普通节点的网络流量的流量包长度X1、数据包均值X2、数据包方差X3、量化处理的数据包特征字段X4、量化处理的P2P协议类型X5所形成的特征向量进行归一化，按照公式X＝X-Xmin/(Xmax-Xmin)进行归一化处理，其中，X表示特征向量中的一个元素，Xmin特征向量中的最小值，Xmax表示特征向量中的最大值。

步骤302、普通节点根据预设权值对归一化后的特征向量进行加权得到中间值；

其中，预设权值可以根据实际网络系统中的网络流量设置。

步骤303、普通节点判断中间值与预设的期望值的差值是否大于或者等于预设的阈值的大小关系，若是，则执行步骤304，若否，则执行步骤305。

步骤304、普通节点根据差值调整设定权值，并根据调整后的预设权值执行步骤302；

步骤305、普通节点将中间值作为流量分类值；

步骤306、普通节点对流量分类值进行统计，按照分类值汇报P2P流量优先级并建立相应的表格。

其中，可以按照网络流量的访问热度或者重要性对流量分类值进行统计，例如：将重要信息和即时信息设置为优先级高、电影下载的内容优先级低，并建立网络流量相应的流量优先级并将该流量优先级进行存储，从而根据该流量优先级动态调整缓冲区流量的分配，降低网络流量中的数据包的排队延时和丢包率，提高路由处理网络拥塞能力。

步骤307、普通节点根据网络流量的域标识判断网络流量是否域内的网络流量还是域外的网络流量，若为域内的网络流量，则执行步骤308，若为域外的网络流量，则执行步骤309；

其中，域标识具体可以采用二进制数设置不同的标识，携带在网络流量的标识位中。

步骤308、普通节点根据网络流量的路由信息将网络流量路由至域内的其它普通节点；

步骤309、普通节点根据流量优先级和网络流量的路由信息将网络路由汇报至域内的超级节点，使得超级节点根据流量优先级和域标识将网络流量路由至域外的超级节点。

本发明实施例提供的网络流量管理方法，根据网络流量的特征向量获取到流量分类值，并根据流量分类值更新已存储的流量优先级，根据流量优先级和网络流量的域标识将网络流量路由至域标识相对应的节点，实现了动态调整网络流量的分配，降低了网络流量的排队延时和丢包率，提高了网络中路由处理网络拥塞的能力。

此外，为了更好的实施本发明实施例，可以在执行本发明实施例图2和图3所示的方法流程之前，执行如下步骤：

对采集得到的网络流量进行缓存处理；对网络流量的特征参数进行哈希(Hash)处理，得到网络流量的特征向量；通过将采集得到的网络流量进行缓存处理，实现根据流量数据缓冲区使用的实时状态控制网络流量，从而进一步提高了网络中处理网络拥塞的能力。

为了能够更充分的实施本发明实施例，下面将对本发明实施例通过神经网络根据特征向量得到流量分类值的过程进行详细描述。图4为图3所示实施例通过神经网络实现步骤302和步骤303的示意图，图5为图4所示实施例中神经网络训练过程示意图，图6为图3所示实施例中神经网络的性能分析示意图；如图4所示，在网络流量检测的过程中，通过对该神经网络进行足够的训练，得到流量分类值。

具体地，将特征向量作为神经网络的输入项，该特征向量可以选取网络系统中流经普通节点的网络流量的流量包长度X1、数据包均值X2、数据包方差X3、量化处理的数据包特征字段X4、量化处理的网络协议类型X5、…，预设权值对应的初始向量[w1w2w3w4w5…]；由于神经网络中的输入项为多个单位不同的值，为了使神经网络输出的流量分类值在0～1之间，需要将输入项进行归一化处理，具体可以采用公式X＝X-Xmin/(Xmax-Xmin)得到归一化后的输入项；可以根据公式Y’＝X1×w1+X2×w2+…+Xn×wn计算得到中间值Y’。

进一步地，神经网络包括输入层、隐含层和输出层三层结构，神经网络的训练过程包括输入层中的输入项的正向传播与输出层的差值的反向传播两个过程；具体地，根据给定样本以及预设权值求出中间值，该中间值与期望得到的期望值进行比较得到差值，如果该差值超过了神经元的阈值则将该差值通过隐含层反向传播至输入层调整预设权值，通过反复进行训练，直到得到的中间值与期望值之间的差值小于神经元的阈值，则该设定权值满足神经网络的要求，可以对网络系统中的普通节点采集得到的网络流量进行测试并得到流量分类值；其中，隐含层通过误差反传、对预设权值进行更新等策略为准确快速的网络流量检测提供了保证；神经元的阈值为期望输出与中间值之间差值的可接受阈值，可以根据网络流量的实际情况确定。

此外，太大的学习速率会导致学习的不稳定，太小值又导致校长的训练时间，而自适应学习速率通过在保证稳定训练的前提下，可以达到合理的高速率，并且减少训练时间，较佳地可以选取列文伯格-马奎特(Levenberg-Marquardt，简称：LM)优化法(trainlm函数)对神经网络进行训练，如图5所示，选择归一化后特征向量作为输入，则输入在0～1之间，间隔为0.1，选取11个网络流量的特征参数作为输入层的输入项，预设的期望值为T＝[0.96 -0.577 0.0729 0.377 0.641 0.66 0.461 -0.13360.201 0.434 -0.5]；测试数据为0～1之间，间距为0.025的41个数据，预设的阈值的最小值(err_goal)＝0.01；最大循环次数(max_epoch＝10000)；修正权值的学习速率(lr)＝0.01，如图6所示，对训练后的神经网络进行实际的检测试验，分析其误差百分比绝对值，分别为：W＝[0.0020 0.0355 0.01470.0222 0.0117 0.0170 0.0442 0.0083 0.0042 0.0573 0.0058]，平均误差为2.03％，由此可知，本发明实施例所述的神经网络方式在网络流量检测在满足用户的需求的基础上，具有较快的收敛速度，检测、评价误差比较低。

通过上述实施例，在网络系统中使用基于神经网络技术管理网络流量方案可行而且具有适应性好、速度快和效率好等优势，并可以取代深层数据包检测等目前使用的技术手段，作为P2P流量识别的重要的解决方案。

图7为本发明普通节点一个实施例的结构示意图，如图7所示，本实施例包括：归一化处理模块71、获取模块72、更新模块73、发送模块74；

其中，归一化处理模块71对网络流量的特征参数形成的特征向量进行归一化处理；获取模块72根据预设权值对归一化后的所述特征向量进行加权，获取流量分类值；更新模块73根据所述流量分类值更新设置的流量优先级；发送模块74根据所述流量优先级和所述网络流量的域标识将所述网络流量发送给与所述域标识相对应的节点。

本发明实施例提供的普通节点，获取模块72根据网络流量的归一化处理模块71处理得到的特征向量获取到流量分类值，更新模块73根据流量分类值更新已存储的流量优先级，使得发送模块74根据流量优先级和网络流量的域标识将网络流量路由至域标识相对应的节点，实现了动态调整网络流量的分配，降低了网络流量的排队延时和丢包率，提高了网络中路由处理网络拥塞的能力。

图8为本发明普通节点又一个实施例的结构示意图，如图8所示，本实施例包括：归一化处理模块81、获取模块82、更新模块83、发送模块84、缓存模块85、哈希处理模块86；

其中，归一化处理模块81对网络流量的特征参数形成的特征向量进行归一化处理；获取模块82根据预设权值对归一化后的所述特征向量进行加权，获取流量分类值；更新模块83根据所述流量分类值更新设置的流量优先级；发送模块84根据所述流量优先级和所述网络流量的域标识将所述网络流量发送给与所述域标识相对应的节点；缓存模块85对采集得到的所述网络流量进行缓存处理；哈希处理模块86对所述网络流量的特征参数进行哈希处理，得到所述网络流量的特征向量。

进一步地，获取模块82还可以包括：计算单元821、调整单元822、获取单元823；其中，计算单元821根据预设权值对归一化后的所述特征向量进行加权得到中间值；若所述中间值与预设的期望值的差值大于或者等于预设的阈值，则调整单元822根据所述差值调整所述设定权值；当根据调整后的所述设定权值对归一化后的所述特征向量进行加权得到的中间值小于所述预设的阈值，则获取单元823将所述中间值作为所述流量分类值。

进一步地，更新模块83还可以包括：统计单元831、建立单元832、存储单元833；其中，统计单元831统计所述流量分类值对应的网络流量的访问热度；建立单元832根据所述访问热度对所述流量分类值进行统计和比较后建立流量优先级；存储单元833存储所述流量优先级。

进一步地，发送模块84还可以包括：第一路由单元841、第二路由单元842；其中，若所述网络流量的域标识表示所述网络流量为域内的网络流量，则第一路由单元841根据所述网络流量的路由信息将所述网络流量路由至所述域内的普通节点；若所述网络流量的域标识表示所述网络流量为域外的网络流量，则第二路由单元842根据所述流量优先级和所述网络流量的路由信息将所述网络路由汇报至域内的超级节点，使得所述超级节点根据所述流量优先级和所述域标识将所述网络流量路由至域外的超级节点。

本发明实施例提供的普通节点，获取模块82根据网络流量的归一化处理模块81处理得到的特征向量获取到流量分类值，更新模块83根据流量分类值更新已存储的流量优先级，使得发送模块84根据流量优先级和网络流量的域标识将网络流量路由至域标识相对应的节点，实现了动态调整网络流量的分配，降低了网络流量的排队延时和丢包率，提高了网络中路由处理网络拥塞的能力。

图9为本发明网络流量管理系统一个实施例的结构示意图，如图9所示，本实施例包括：一个超级节点91和至少一个普通节点92；

其中，普通节点92对网络流量的特征参数形成的特征向量进行归一化处理，根据预设权值对归一化后的所述特征向量进行加权，获取流量分类值，根据所述流量分类值更新设置的流量优先级，根据所述流量优先级和所述网络流量的域标识将所述网络流量发送给与所述域标识相对应的节点；

若所述网络流量为网络系统中的普通节点92所在网络流量管理系统以外的其它网络流量管理系统的网络流量，超级节点91接收普通节点92发送的网络流量汇总报告，根据所述汇总报告向普通节点92下达路由命令，使得普通节点92根据超级节点91的路由命令将网络流量路由至整个网络系统中的其它网络流量管理系统中。

本发明实施例提供的网络流量管理系统，普通节点92根据网络流量的归得到的特征向量获取到流量分类值，根据流量分类值更新已存储的流量优先级，使得普通节点92根据流量优先级和网络流量的域标识将网络流量路由至域标识相对应的节点，实现了动态调整网络流量的分配，降低了网络流量的排队延时和丢包率，提高了网络中路由处理网络拥塞的能力。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、设备、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以理解：实现上述实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种网络流量管理方法，其特征在于，包括：

对网络流量的特征参数形成的特征向量进行归一化处理；

根据预设权值对归一化后的所述特征向量进行加权，获取流量分类值；

根据所述流量分类值更新已存储的流量优先级；

根据所述流量优先级和所述网络流量的域标识将所述网络流量发送给与所述域标识相对应的节点。

2.根据权利要求1所述的方法，其特征在于，所述根据预设权值对归一化后的所述特征向量进行加权，获取流量分类值包括：

根据预设权值对归一化后的所述特征向量进行加权得到中间值；

若所述中间值与预设的期望值的差值大于或者等于预设的阈值，则根据所述差值调整所述设定权值；

若根据调整后的所述设定权值对归一化后的所述特征向量进行加权得到的中间值小于所述预设的阈值，则将所述中间值作为所述流量分类值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述流量分类值更新已存储的流量优先级包括：

统计所述流量分类值对应的网络流量的访问热度；

根据所述访问热度对所述流量分类值进行统计和比较后建立流量优先级；

存储所述流量优先级。

4.根据权利要求1所述的方法，其特征在于，根据所述流量优先级和所述网络流量的域标识将所述网络流量发送给与所述域标识相对应的节点包括：

若所述网络流量的域标识表示所述网络流量为域内的网络流量，则根据所述网络流量的路由信息将所述网络流量路由至所述域内的普通节点；

若所述网络流量的域标识表示所述网络流量为域外的网络流量，则根据所述流量优先级和所述网络流量的路由信息将所述网络路由汇报至域内的超级节点，使得所述超级节点根据所述流量优先级和所述域标识将所述网络流量路由至域外的超级节点。

5.根据权利要求1～4任一所述的方法，其特征在于，还包括：

对采集得到的所述网络流量进行缓存处理；

对所述网络流量的特征参数进行哈希处理，得到所述网络流量的特征向量。

6.一种普通节点，其特征在于，包括：

归一化处理模块，用于对网络流量的特征参数形成的特征向量进行归一化处理；

获取模块，用于根据预设权值对归一化后的所述特征向量进行加权，获取流量分类值；

更新模块，用于根据所述流量分类值更新已存储的流量优先级；

发送模块，用于根据所述流量优先级和所述网络流量的域标识将所述网络流量发送给与所述域标识相对应的节点。

7.根据权利要求6所述的普通节点，其特征在于，所述获取模块包括：

计算单元，用于根据预设权值对归一化后的所述特征向量进行加权得到中间值；

调整单元，用于若所述中间值与预设的期望值的差值大于或者等于预设的阈值，则根据所述差值调整所述设定权值；

获取单元，用于若根据调整后的所述设定权值对归一化后的所述特征向量进行加权得到的中间值小于所述预设的阈值，则将所述中间值作为所述流量分类值。

8.根据权利要求6所述的普通节点，其特征在于，所述更新模块包括：

统计单元，用于统计所述流量分类值对应的网络流量的访问热度；

建立单元，用于根据所述访问热度对所述流量分类值进行统计和比较后建立流量优先级；

存储单元，用于存储所述流量优先级。

9.根据权利要求6所述的普通节点，其特征在于，所述发送模块包括：

第一路由单元，用于若所述网络流量的域标识表示所述网络流量为域内的网络流量，则根据所述网络流量的路由信息将所述网络流量路由至所述域内的普通节点；

第二路由单元，用于若所述网络流量的域标识表示所述网络流量为域外的网络流量，则根据所述流量优先级和所述网络流量的路由信息将所述网络路由汇报至域内的超级节点，使得所述超级节点根据所述流量优先级和所述域标识将所述网络流量路由至域外的超级节点。

10.根据权利要求6～9任一所述的普通节点，其特征在于，还包括：

缓存模块，用于对采集得到的所述网络流量进行缓存处理；

哈希处理模块，用于对所述网络流量的特征参数进行哈希处理，得到所述网络流量的特征向量。

11.一种网络流量管理系统，其特征在于，包括：一个超级节点和至少一个普通节点；

所述普通节点用于对网络流量的特征参数形成的特征向量进行归一化处理，根据预设权值对归一化后的所述特征向量进行加权，获取流量分类值，根据所述流量分类值更新已存储的流量优先级，根据所述流量优先级和所述网络流量的域标识将所述网络流量发送给与所述域标识相对应的节点；

若所述网络流量为网络系统中的所述普通节点所在网络流量管理系统以外的其它网络流量管理系统的网络流量，所述超级节点接收所述普通节点发送的网络流量汇总报告，根据所述汇总报告向所述普通节点下达路由命令，使得所述普通节点根据所述超级节点的路由命令将网络流量路由至网络系统中的其它网络流量管理系统中。

Images