CN102025781A - 基于分布式监测管理架构的业务感知方法 - Google Patents

Abstract

本发明公布了一种基于分布式监测管理架构的业务感知方法，本发明方法包括如下步骤：1)采用监测代理判断业务流是否已带标记；2)当监测代理监测到未处理过的业务流时，向业务登记表注册，并查询内存记录；3)对监测代理提交的业务信息进行预处理，即将监测代理监测到的特征信息向量化；4)对预处理后的信息放入SVM模块训练，该训练方法采用半监督学习方法；5)将第4步中训练获得的样本存入业务数据表中，以供下次鉴别时使用；6)以上结束对业务流的识别监测，打好标记后转至路由的下一节点。本发明各模块协同工作，功能有序统一，提高了业务识别的实效性，保证了其端到端QoS。

Description

基于分布式监测管理架构的业务感知方法

技术领域

本发明是针对认知网络的高度自主性，提出的一个基于分布式监测管理架构的业务感知方法，该方法主要研究如何通过智能代理监控业务数据，并搭载相关智能引擎完成业务的在线高效识别，并设计了识别引擎采用的相关智能算法。本发明方法涉及到数据挖掘、流量分类、网络管理、智能代理等相关领域，属于一种业务感知方法。

背景技术

随着网络技术与应用的不断发展，网络异构性和复杂性尤为突出，业务种类急剧增加，为全网QoS保证提出挑战。在接入网对业务进行识别，并对其网络行为跟踪管理，可以使得网络资源利用更合理化、规范化。最简单的识别技术是采用静态端口法，但是目前网络应用大多采用动态端口或运用伪装技术，使得端口识别在很大程度上受限。为克服以上缺陷，分析数据包净荷、挖掘业务内在信息的技术应运而生，其中较典型的两大技术体系：DPI(Deep Packet Inspection，深度包检测)和DFI(Deep/Dynamic Flow Inspection，深度/动态流检测)已经比较成熟，并已在国外商用。

目前，业务识别技术的研究与开发仅局限于传统网络，并且脱离了网络环境而单方面考虑技术，其实用性与可靠性有待改善，这也是许多研究成果商业化程度不高的原因之一。本文研究背景为认知网络，由R.W.Thomas首次提出认知网络这一概念。认知网络是未来网络发展的一个研究方向，认知的前提是感知，它能够感知当前网络的状态变化，并用统一的规范语言描述，并将信息传递给认知层进行分析决策。有别于传统网络，认知网络是一个能进行自我配置、自我管理、自我学习的智能化系统，研究业务识别在其上的监测、管理机制，可以进一步提高业务识别与网络的融合度，提高在线识别的效率，从而更好的保证网络端到端QoS的实现。本文基于认知网络，研究如何对业务进行分区、多点监测并识别，提出了一种以分布式认知域为模块的在线识别机制。

发明内容

技术问题：本发明目的在于针对传统业务识别研究仅限于识别引擎的扩展与开发，并没有很好的将识别引擎融入到网络中，导致许多发明成果无法得到实际价值的体现，提出了一种基于分布式监测管理架构的业务感知方法。该方法采用分区多点监测机制，可以实现多个监测点同时工作，从而提高业务在线识别效率，减轻域服务器的负担。本发明将业务数据采集与识别相分离，采用了一套完整的通信机制，识别引擎作为一个独立模块嵌入在识别机制中，具有较好的扩展性，方便以后升级与维护。在识别引擎选取上，本发明采用SVM智能算法，其算法解决当前一些智能算法的局部极小值问题，并且不受训练样本数目的限制，很好的解决了样本维数灾难问题。

技术方案：

本发明基于分布式监测管理架构的业务感知方法包括如下步骤：

1)采用监测代理判断业务流是否已带标记，如果有则转至第6)步，否则继续第2)步；

2)当监测代理监测到未处理过的业务流时，向业务登记表注册，并查询内存记录：业务登记表将查询内存记录结果反馈给智能代理，如业务登记表中有记录即监测到的未处理过的业务流已经处理，则将所述业务流标记，并转至第6)步；如业务登记表注册中无记录即监测到的未处理过的业务流未已经处理，则智能代理将所述业务流提交给SVM模块＝处理后在业务登记表注册注册；

3)对监测代理提交的业务信息进行预处理，即将监测代理监测到的特征信息向量化；

4)对预处理后的信息放入SVM模块训练，该训练方法采用半监督学习方法，具体训练方法如下：

a)将步骤3)所述作向量化后的信息为一个训练集，先将训练集中的一部分样本标记，并以所述标记的样本作为初始训练集训练出一个原始分类器SVM1；

b)再用原始分类器SVM1对原始样本继续训练，并标记训练后的样本得到第一分类器SVM2，所述原始样本包含已标记的样本和部分未标记的样本，所述已标记的样本表示步骤a)中标记的样本经过训练以后的结果，所述部分未标记的样本表示步骤a)中未标记的样本中的一部分；

c)将步骤b)过程中训练获得的标记后的样本继续作为下一次的输入，返回步骤b)，直到训练集中已标记的样本数量是全部样本的m倍时，停止训练；m∈(0，1)，m次迭代完成后获得具有较高分类精度的分类器SVM^*；

5)将第4步中训练获得的样本存入业务数据表中，以供下次鉴别时使用；

6)以上结束对业务流的识别监测，打好标记后转至路由的下一节点。

有益效果：

通过基于分布式监测管理的业务感知模型的研究，我们能够实现以下方面的收益：

1.本模型涉及的业务控制管理机制，将识别引擎很好的嵌入到网络中，特别是认知网络，使其能更加方便的管理业务行为，体现认知网络的自主性。

2.采用业务表查询模式，方便快捷地处理业务信息，提高其在线应用能力，保证业务端到端QoS，改善网络性能。

3.采用标签机制，对业务进行标记，可以方便跟踪管理其网络行为，对于入侵检测及网络安全稳定提供了保障。

4.本发明采用的SVM识别引擎，是在数据挖掘技术的基础上，只利用有限的特征

样本进行训练，解决了维数灾难和神经智能算法的局部极小值问题。

5.本发明采用模块化思想，将监测模块与识别引擎相分离，有利于模型功能的扩展与改进。

附图说明

图1是基于分布式监测管理架构的业务感知模型图；

图2是智能代理模块架构；

图3是本模型的业务感知流程图；

图4是业务属性登记表；

图5是SVM训练机制流程图。

具体实施方式

下面结合附图对发明的技术方案详细说明：

1该业务感知模型在认知网络中的实现

模型总体框架图如图1。以认知网络为背景，将网络环境划分为多个认知域，每个认知域负责各自的业务监测与识别，各域通过域间控制模块进行业务数据的同步与共享。每个认知域包含三个主要部分：监测代理模块、业务登记表和SVM学习模块。监测代理完成对业务数据的采集与分析；业务登记表用来记录已知业务信息，相当于业务特征数据库；而学习模块采用SVM智能算法完成对未知业务的识别。附图3为各模块间通信流程，具体实现方法如下：

1)判断业务流是否已带标记，如果有则转至第6步，否则继续第2步骤。检查标签的用意在于，判断该业务流是否已经被之前的代理受理过(后面步骤将讲到，已处理业务将被打上标记)。该步骤可以避免不同代理对同一业务流的重复检查，从而省去带来的系统开销，进而减少端到端延时。

2)业务登记表注册。代理监测到未处理过的业务流时，向业务登记表注册，并查询内存记录。业务登记表将查询结果反馈给智能代理，如表中有记录(返回Yes消息)，则将该业务标记，并转至第6步；如表中无记录(返回NULL消息)，则智能代理将业务提交给智能学习模块进一步处理。

3)对代理提交的业务信息进行预处理，以便SVM模块训练使用。即，将代理监测到的特征信息向量化。

4)对预处理后的信息放入SVM模块训练，该训练方法采用半监督学习策略，其具体训练方式如下：

a)将监测代理分析获得的所有信息作为一个训练集，先根据经验分析挑选一部分数据将其标记，并以此作为初始训练集训练出一个原始分类器SVM1。

b)再用SVM1对原始样本继续训练，此时的样本包含已标记的业务和部分未标记的业务，并标记训练后的样本。

c)将步骤b)过程中训练获得的标记后的样本继续作为下一次的输入，返回步骤b)，直到训练集中已标记的样本数量是全部样本的m倍时，停止训练。m∈(0，1)，m的取值不宜过大，对于实时性要求较高的应用取0.5以下为宜。m次迭代完成后获得具有较高分类精度的分类器SVM^*；

5)将第4步中训练获得的样本数据存入业务数据表中，以供下次鉴别时使用。

6)以上结束对该流的识别监测，打好标记后转至路由的下一节点。

以上描述了单个认知域的业务监测、控制与识别机制，而本发明是基于分布式的多个认知域共同完成网络中所有的业务感知与控制。不同域间的信息交互由域间控制单元完成，该单元能够分析本地代理的处理结果，以及相邻域间的处理结果，共享不同域间的业务数据，以达到QoS的最优化。当本地认知域监测到未知业务时，由域间控制模块将信息通过共享内存发布给邻域，使邻域免去重复识别的过程。

2监测代理模块的实现

本发明采用的代理具备数据分析、整理及简单网管功能，它以业务为驱动，在五元组信息(即源地址、目的地址、源端口、目的端口和传输层协议)的基础上，剖析数据包的属性特征，以供域认知服务器进行决策与动作。在整个流程中，代理起到了基础模块的作用。监测代理部署如附图2，它主要完成两个方面的工作：

(1)数据采集。在监测到业务流时，代理通过自身功能采集数据包关键信息，主要包括基础信息及扩展信息两部分。基础信息即为源地址、目的地址、源端口、目的端口和传输层协议，扩展信息主要为业务的流量统计特征。

(2)数据通信。业务查询阶段，发送特征数据包给业务登记表，并根据返回结果进一步处理。当登记表中无业务记录时，代理则向学习模块发送请求，并附带业务特征信息。

3业务表登记的建立

业务登记表记录了所有已知业务的特征信息，以共享内存方式供本地监测代理查询使用。该业务登记表作为数据库存储业务信息，并将此信息对邻域服务器公开，使网络中所有认知域获得最新的业务记录，快速完成数据库的升级更新。如附图4，业务表建立方法如下：

(1)业务注册。此项功能是建立在监测代理基础上，由监测代理收集业务信息(五元组信息及扩展信息)并发送给业务登记表，业务登记表查询记录，并返回查询结果。

(2)业务更新。业务更新有两种途径，一是来自邻域的共享消息，邻域识别出新业务时会向本地公布，反之，本地也会向周边认知域发送更新消息。二是来自本域的识别，即本地学习模块对未知业务采样、训练，并获得分类结果。这时业务登记表记录训练得出的关键属性，用来表征该业务。这里的关键属性即为扩展信息。

4学习模块的构建

本发明通过SVM算法构建学习模块。SVM在基于流统计特征的基础上对样本训练，与其他人工智能方法相比，具有较高的分类精度及稳定度，同时不受净荷加密的限制，适合当前复杂网络环境的业务识别。SVM采用半监督学习模块，如附图5，其具体流程方法如下：

a)将监测代理分析获得的所有信息作为一个训练集，先根据经验分析挑选一部分数据将其标记，并以此作为初始训练集训练出一个原始分类器SVM1。

b)再用SVM1对原始样本继续训练，此时的样本包含已标记的业务和部分未标记的业务，并标记训练后的样本。

c)将b过程中训练获得的样本继续作为下一次的输入，以此循环迭代，直到训练集中已标记的样本数量是全部样本的m倍时，停止训练。m∈(0，1)，m的取值不宜过大，对于实时性要求较高的应用取0.5以下为宜。m次迭代完成后获得具有较高分类精度的分类器SVM^*。

Claims (1)

1.一种基于分布式监测管理架构的业务感知方法，其特征在于包括如下步骤：

1)采用监测代理判断业务流是否已带标记，如果有则转至第6)步，否则继续第2)步；

2)当监测代理监测到未处理过的业务流时，向业务登记表注册，并查询内存记录：业务登记表将查询内存记录结果反馈给智能代理，如业务登记表中有记录即监测到的未处理过的业务流已经处理，则将所述业务流标记，并转至第6)步；如业务登记表注册中无记录即监测到的未处理过的业务流未已经处理，则智能代理将所述业务流提交给SVM模块＝处理后在业务登记表注册注册；

3)对监测代理提交的业务信息进行预处理，即将监测代理监测到的特征信息向量化；

4)对预处理后的信息放入SVM模块训练，该训练方法采用半监督学习方法，具体训练方法如下：

a)将步骤3)所述作向量化后的信息为一个训练集，先将训练集中的一部分样本标记，并以所述标记的样本作为初始训练集训练出一个原始分类器SVM1；

b)再用原始分类器SVM1对原始样本继续训练，并标记训练后的样本得到第一分类器SVM2，所述原始样本包含已标记的样本和部分未标记的样本，所述已标记的样本表示步骤a)中标记的样本经过训练以后的结果，所述部分未标记的样本表示步骤a)中未标记的样本中的一部分；

c)将步骤b)过程中训练获得的标记后的样本继续作为下一次的输入，返回步骤b)，直到训练集中已标记的样本数量是全部样本的m倍时，停止训练；m∈(0，1)，m次迭代完成后获得具有较高分类精度的分类器SVM^*；

5)将第4步中训练获得的样本存入业务数据表中，以供下次鉴别时使用；

6)以上结束对业务流的识别监测，打好标记后转至路由的下一节点。

Images