CN102123413A - 无线传感网络的网络监测和协议分析系统 - Google Patents

Abstract

本发明涉及无线传感网络的网络监测和协议分析系统。现有的系统多采用离线合并方式，适用于小规模监测节点。本发明包括：协议解析，将原始数据帧按照网络协议的层次结构和字段格式解析；记录合并，合并多个监测节点的监测记录，提供时间有序、更加完整的监测记录，更全面的对整个网络进行分析；记录推理，将有限状态机应用到多跳网络协议的漏听数据包数量和包接收状态的推断；数据可视化，提供了可配置的用户界面，通过多种可视化方式展示数据分析结果。本发明增加时钟调整策略，保证了在线合并的准确性；将有限状态机应用到更为复杂的多跳传感网络协议的数据推断，可以推断网络中的多跳链路构成的路径的数据包接收情况和漏听数据包的个数。

Description

无线传感网络的网络监测和协议分析系统

技术领域

本发明属于无线传感网络的网络监测技术领域，涉及一种无线传感网络的网络监测和协议分析系统。

背景技术

网络监测和协议分析对于网络协议开发调试、提高网络运行效率至关重要。有线网络拥有可靠的传输介质和统一的网络协议标准，学术界和工业界开发了大量的网络监测工具。在无线网络中，信道冲突和链路质量的不稳定性增加了无线网络的监测难度。在无线传感网络中，由于缺乏统一的网络架构和网络协议标准，且网络节点资源受限，给无线传感网络的监测带来了更多的挑战。

在无线传感网络中，网络监测方法分为主动监测和被动监测两种。主动监测需要在被监测网络节点中安装监测协议模块，可以获得网络协议运行的详细参数，工作方式与SNMP网络管理协议类似。由于监测协议控制流和网络数据流混杂在网络流量中，对被监测网络造成影响，也给网络协议的设计、部署和升级带来困难。被动监测是在传感网络外部搭建监测节点和监测网络，通过监听无线信道抓取和分析无线数据包，不占用被监测网络的任何资源，对被监测网络造成的影响很小。现有的被动监测系统基本上都采用下述的框架：将多个监测节点分散部署在无线网络中抓取网络中传输的数据，并将所有监测流合并成一个更加完整的网络数据传输记录，再通过分析网络流量进行网络性能评估、故障诊断等。

数据合并是被动监测中的基本问题，多数系统都提出数据合并方法。但是在无线传感网络中，现有的合并方法多采用离线合并方式，适用于小规模监测节点的合并，没有处理时钟漂移问题。在数据包和隐含事件推断方面，已有的无线传感网络监测系统没有提出针对多跳网络的数据包和网络事件推断方法。无线传感网络是由大量的低功耗节点构成的多跳自组网，多跳网络的复杂性和不稳定性使得网络更容易丢包。无线传感网络的事件推断问题也比WLAN等单跳无线网络更具挑战性。

发明内容

本发明的目的是提供一种基于被动方式的网络监测和协议分析系统，该系统帮助开发人员和用户实时地了解网络的运行状况，调试优化网络、维护网络正常运行。

为了实现上述目的，本发明提供一种基于被动方式的网络监测和协议分析系统，该系统包括：协议解析，将原始数据帧按照网络协议的层次结构和字段格式解析；记录合并，合并多个监测节点的监测记录，提供时间有序、更加完整的监测记录，更全面的对整个网络进行分析；记录推理，将有限状态机应用到多跳网络协议的漏听数据包数量和包接收状态的推断；数据可视化，提供了可配置的用户界面，通过多种可视化方式展示数据分析结果。

所述的协议解析包括：为支持协议的扩展，设计基于XML标准的协议结构描述方法，对于新的协议或用户自定义的协议，用户只需按照协议描述方法修改协议描述文件中的结构即可对其进行解析；为了提高数据包解析的效率，在系统启动时预先分析协议文件结构，将复杂的计算提前到数据包解析之前，这个过程称为协议预处理。

所述的记录合并按照时间顺序将多个监测记录合并成一个时间有序的全局监测记录，包括：时间同步算法使用时间偏移图方法将各监测记录的时间戳根据参考时间进行调整，使得在不同监测记录中的相同数据包时间戳相同；数据包合并算法采用最小堆存储结构，将时间同步后的数据包按照时间顺序合并成单一的监测记录，并过滤重复的数据包；时钟调整策略解决了合并过程中时钟漂移带来的误差，提高合并的准确性。

时钟调整策略包括：时钟微调，在监测记录合并模块运行过程中，利用重复数据包时间戳之间的微小偏差重新将节点调整到同步状态；节点时钟自调整，记录过去一段时间内节点时钟漂移情况，使用指数加权移动平均方法预测当前时钟漂移，主动调整自身的时钟偏差，抵消时钟漂移的误差；时钟重新同步，当节点间的时钟偏差超过设定的阈值或者发现逆序数据包时，重新启动时钟同步过程。

所述的记录推理针对被动监测中的数据包漏听和隐含事件推断问题，将有限状态机应用到多跳网络协议的漏听数据包数量的推断和包接收状态的推断，根据协议规则构建有限状态机，推理监测节点漏听数据包的数量和数据包的接收情况，提高被动监测数据包的完整性。

所述的数据可视化以多种方式展示数据分析结果，包括：数据包列表视图，展示监测节点抓取到数据包的信息，显示的信息可通过字段路径在配置文件中动态配置，同时对不同类型的数据包进行加色显示和过滤；数据包解码图，对列表图中选中的数据包按层和字段的父子关系按树形结构进行展示，每个字段的数值型数据可根据协议文件中的定义翻译成易懂的文字描述；时间轴，展示每个被监测节点在某个时间点上有数据包发送或接收，不同类型的数据包可显示不同的颜色标记；网络拓扑图，展示被监测网络的拓扑结构和相关的分析结果；统计图，显示各个被监测节点发送和接收的不同种类的数据包数等统计数据。

因此，与其他相关工作相比，本发明在被动监测的准确性、性能和扩展性方面进行改进。在数据合并阶段，对已有记录合并方案进行改进，增加时钟调整策略，保证了在线合并的准确性；在数据推理方面，将有限状态机应用到更为复杂的多跳传感网络协议的数据推断，可以推断网络中的多跳链路构成的路径的数据包接收情况和漏听数据包的个数。

附图说明

图1是被动监测系统框架。

图2是监测系统模块结构。

图3是记录合并流程。

图4是记录推理流程。

图5是记录推理采用的有限状态机。

具体实施方式

下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。

如图1所示，在监测网络中存在四种类型的节点设备：被监测节点、监测节点、监测工作站和汇总工作站。监测工作站通过串口或USB接口与监测节点相连，由监测工作站给监测节点设定监听的频道，监测节点把监听到的数据包转发给监测工作站，监测工作站再通过指定的协议描述文件对数据帧进行解析，并通过多种可视化工具显示解析结果。由于传感器节点可能分布在地域较广的范围内，单个监测节点的监测范围是有限的。为了对大规模网络进行监测，多个监测节点组成分布式的监测网络。监测工作站负责对单个监测节点抓取的数据进行分析，并同时将数据包的原始内容通过以太网或其他网络接口转发到汇总工作站。汇总工作站综合所有监测记录，对网络进行全面的分析，监测数据先后经过记录合并模块、记录推理模块和记录分析模块，最终到达可视化模块。

监测系统模块结构如图2所示。底层为监测数据收集模块，监测系统有三种数据源：串行口、以太网接口和记录文件。中间层是为协议解析、监测数据处理、数据分析模块，包括网络协议解析操作、被动监测系统的基本组件和可扩展的数据分析模块。为了支持更多的协议，协议按照预定的规则用XML描述，由协议解析模块和预处理模块进行协议解析。数据包解析器、记录合并和记录推理是被动监测系统的基本组件。原始数据流经过合并和推理模块强化后交由分析模块处理，包括网络流量统计、网络性能评估和故障诊断、事件检测等。上层是可视化展示层，包括数据包列表图、树状包结构图、时间轴、网络拓扑图和流量统计图等。中间的分析层和可视化层由可视化抽象层连接，可视化抽象层提供了可扩展的可视化接口。

基于XML标准的协议结构描述方法使用五种类型元素：基本信息元素（mib）、层元素（layer）、字段元素（field）、上层元素（upperlayer）和公共元素元素（fragment）。整个协议有一系列层（Layer）组成，每个层又是由字段（Field）组成。字段的长度可用数值或表达式来描述。以下是ZigBee2007协议定义文件中数据链路层片段。

<layer name="Mac" alias="Data">

<field name="FrameControl">

<type>Hex</type>

<length>16</length>

……

  <field name="DestAddressingMode">

<length>2</length>

</field>

……

<field name="DestPANId">

<type>Hex</type>      <length>@Mac.FrameControl.DestAddressingMode=0                                                0:16</length>

</field>

   ……

</field>

……

<upperLayer switchBegin="0" switchLength="2">

<switch case="0" layer="Network" alias="Data"/>

<switch case="1" layer="Network" alias="Command"/>

</upperLayer>

</layer>

其中DestPANId的长度由当前数据包中的DestAddressingMode字段的值来决定，字段的引用以“@”开头，并以从所在层开始的层次型路径字符串来表示。XML中的upperLayer元素是上下层之间的切换点，根据switchBegin和switchLength属性值来预取上层数据区的前几个比特数值，然后根据该数值来跳转到指定的上层XML元素继续解析。

为提高解析效率，在系统启动时预先加载协议文件，协议的装载分成两个阶段：XML文件分析和协议预处理，主要包括以下几个步骤：

(1)把XML文件中的每个元素，包括Layer元素和Field元素，都加载到内存中，转化为内存中的对象，并根据XML中的描述建立对象的层次关系；

(2)给每个字段分配一个唯一编号，称为协议字段号。每个字段的路径与协议字段号之间建立哈希映射;

(3)由于不同类型的数据包中包含的字段不一定相同，导致一个具体的数据包中某个字段的编号与协议字段号也不相同，因此，每个数据中在分析时需要建立协议字段号与数据包字段号的映射；

(4)公式中参数用对应字段的协议字段号替换，并预编译成逆波兰式存放在字段属性中。

所述的记录合并的第一步是时间同步，即计算每个监测节点的时钟与参考时钟的偏差。n个监测节点的监测记录分别用S ₀ , S ₁ , …, S _n 表示。选择汇总工作站的时钟S₀作为参考时钟，将其他监测记录的数据包时间戳映射到参考时间。用 

表示记录S _i 中数据包p的时间戳。时间同步的目标是计算记录S ₀ 和S _i 的时间偏差

，使得

(假设记录S ₀ 和S _i 中都包含数据包p)。

当记录S ₀ 和S _i 包含有相同数据包p时，计算它们的时间偏差：

。然而，并不是所有监测节点的记录都和S ₀ 重叠。为此，建立时间偏移图G(V, E)计算非重复记录到S ₀ 的时间差。时间偏移图中的顶点V代表监测节点的集合，边E代表监测节点时间偏移的集合，边的权重

。每个记录的时间偏差

通过计算顶点i到顶点0的最短路径得到。

当汇总工作站接收到来自监测节点s的数据包p时，时间同步算法如下：

(1)针对数据包p的内容计算哈希值，结果表示为hash(p)，该哈希值可以唯一确定一个数据包。哈希算法采用md5算法；

(2)将二元组(s,

)放入哈希表，键值为hash(p)；

(3)如果一个数据包出现在多个监测记录中，那么每次计算的哈希值相同，哈希表中存放的位置也相同，即哈希表冲突。此时在时间偏移图G(V, E)中添加两条边

和

；

(4)如果

或者

未知，那么计算S ₀ 到其他节点的最短路径，从而得到

或者

。求所有其他监测记录到S ₀ 的时间差就是计算0号节点到其他顶点的最短路径，即单源最短路径问题，使用Dijkstra算法计算；

(5)当所有节点的时间偏移都计算出来时，同步过程结束。

图3(a)中数据流A用于时间同步过程。从图3(b)中可以看出，监测节点1和2到汇总工作站0的时间偏差可以直接计算得到，分别为和

。但是监测节点3和4监测区域没有重叠，而它们和1、2号监测节点有重叠的区域，通过计算节点3和4到节点0的最短路径间接计算出

和。

所述的记录合并的第二步是数据包合并，过程如图3(c)所示，处理过程描述如下：

(1)汇总工作站为所有监测节点分别维护一个待处理的数据包队列，定义为(S ₀ , S ₁ , …, S _n )。写线程将读取的数据包放入到相应监测节点的数据包队列尾部，见图3数据流B。图3中容器包含了5个条目，存储了5个监测节点的ID号，并为每个监测节点分配了数据包队列；

(2)合并算法采用最小堆存储结构存储读取的数据包序列(p ₁ , p ₂ , …, p _n )，时间戳最小的数据包位于堆顶，如图3中数据流C；

(3)将堆顶数据包移动到待合并队列中。待合并队列中按时间顺序存储了时间戳相等或者相近的数据包，待合并队列中的数据包是重复的数据包或者是发送时间相近的数据包；

(4)将堆顶数据包所在队列的下一个数据包移动到堆顶，按照最小堆的规则调整后，当前时间戳最小的数据包移动到了堆顶。再将新的堆顶移动到待合并队列，直到堆顶数据包的时间戳和队列尾的时间戳间隔超过设定的阈值，即这两个数据包不可能是重复的数据包。如图3中数据流E，将节点S3队列中的下一个数据包p ₅ 替换p ₃ ，并调整最小堆；

(5)将待合并队列中的数据包合并到最终的时间有序的记录中，重复的数据包只合并一次。哈希表中保存了最近一段时间内接收到的数据包的相关信息，即用于时间同步，也用用于判断重复数据包。哈希值相同的数据包就是重复的数据包；

(6)重复步骤3、4和5，直到监测结束。

所述的记录推理采用基于有限状态机（FSM）的推理方法，推理流程如图4所示。记录合并之后，所有数据包按照时间顺序存储在单一容器中。容器中的数据包首先由分组算法分配到适当的会话分组中，然后由数据包分类算法转换为状态机输入，这两个步骤称为数据包预处理。所谓会话是指网络节点之间的一次完整交互。数据包预处理之后，每一个会话分组对应一个FSM推理实例（推理模块中同时运行多个推理实例），根据分组中数据包之间的关系进行推理。

图5是记录推理采用的有限状态机，输入包括原始数据帧(oData)、重传数据帧(rData)、下一跳数据帧(nData)、间断数据帧(iData)和确认帧（Ack）。原始数据帧(oData)标志一次会话的开始；重传数据帧(rData)是数据帧的一次重传，表示一次传输失败；下一跳数据帧(nData)表示先前数据帧的下一跳数据帧，更加接近汇聚节点；间断数据帧(iData)表示相邻数据帧的跳数不连续，即它们之间漏听了若干数据包；确认帧（Ack）是对对应数据帧的确认。状态机中的实线是确定的状态转移，可以准确的推断出数据包的接收情况和漏听的数据包。虚线是不确定的状态转移，只能推断出最少的情况，或者依据历史数据推断出最有可能的情况。前者对应于发生突发丢包，或者链路质量不稳定的情况。后者对应于链路质量较稳定的情况，使用加权移动平均法，依据历史丢包情况进行预测。

原始数据帧(oData)表示一次会话的开始，确认帧（Ack）用于推断前一个数据帧成功发送，这两个输入的处理流程简单，这里不错讨论，下面介绍rData、nData和iData三个输入的处理流程。

定义group中存放了一次会话中所有的数据包；last指状态机上一个输入对应的数据包的序号；MAX_SN是序号的最大值；gap指当前数据包和前一个数据包的序号间隔；link(src, dst)表示源节点src到目的节点dst之间的链路。

rData操作：从监测节点的角度不能直接判断一个数据包是不是重传数据包，必须根据前后数据包的关系来判断。如果监测节点监听到一个重传包，但之前对应的原始数据包和若干个重传包都没有监听到，这时状态机认为第一次听的包是原始数据包，而不管它是否是重传的，即初始状态S0不接受rData。其他状态都接受rData输入，执行确定的状态转移。

rData操作中，gap指当前数据包和前一个数据包的序号间隔。当收到重传数据包时，首先可以判断前一个数据包丢失，这个数据包可能是数据帧或者是确认帧。链路link(src, dst)上传输失败的数据包个数为gap，漏听的数据包个数为gap-1。操作流程如下：

rData操作算法

输入：当前数据包(pkt)，上一个数据包位置(last)

输出：上次监听到数据包的接收状况和漏听数据帧的个数

Begin

1.If (last >= 0 And last < GroupSize) Then

2. // 获得Group中last位置的数据包

3.lastPacket = getPacketFromGroup(last)

4.// 上次监听到的数据包传输失败

5.lastPacket.Received = False

6.// 计算序号间隔，用模运算消除序号回滚带来的影响

7.Gap = (pkt.sn–lastPacket.sn)%MAX_SN

8.// 传输失败数据包个数

9.Link(pkt.src, pkt.dst).Fail += Gap

10.//漏听数据包个数

11.Link(pkt.src, pkt.dst).Miss += (Gap–1)

12.End If

End

nData操作：状态机接受nData输入时，如果前一个数据包是确认帧，那么可判断确认帧正确接收，并且没有漏听的数据包。但如果前一个数据包是数据帧，此时监测节点漏听了若干对重传数据帧和确认帧，漏听的数量结合历史丢包情况和当前已知的信息进行推断。当前已知的信息，比如已传输数据包的数量SEND，由监测节点直接监测得到或者由rData操作推断得出。nData操作使用加权移动平均法对重传次数进行预测。

加权移动平均法是根据同一个移动段内不同时间的数据对预测值的影响程度，分别给予不同的权数，然后再进行平均移动预测未来值。根据愈是近期数据对预测值影响愈大这一特点，在计算平均值时，不同地对待移动期内的各个数据。对近期数据给予较大的权数，对较远的数据给予较小的权数。重传次数的计算公式如下：

M _n+1 表示第n+1期加权平均值，M _i 表示第n期加权平均值，x _i 表示第i期的权数（权数和为1），k为移动步长。

nData操作认为前一个监听到的数据包成功传输，漏听的数据包都认为是传输失败的。虽然这样的推断存在误差，但在大部分网络性能评估方法中都使用，因为这些方法只需要知道知道收到数据包的个数，而不需要准确知道是哪个数据包被接收。nData操作如下：

nData操作算法

输入：上一个数据包位置(last)，上一个数据帧位置(lastData)

输出：上次监听到数据包的接收状况和漏听数据帧的个数

Begin

1.If (last >= 0 And last < GroupSize) Then

2.// 获得Group中last位置的数据包

3.lastPacket = getPacketFromGroup(last)

4.// 上次监听到的数据包传输成功

5.lastPacket.Received = True

6.// 如果上次听到的是DATA类型数据包

7.If (lastPacket.Type == DATA)

8.// 链路上成功传输了一次DATA类型数据包

9.Link(lastPacket.src, lastPacket.dst).Recv++

10.//根据移动加权平均算法统计漏听数据包个数，步长为k

11.//从第n-k次传输开始统计到第n-1次传输，当前为第n次传输

12.//第i次传输漏听数据包数为M_i，权重为x_i

13.For (i = n-k; i < n; i++)

14.Link(lastPacket.src, lastPacket.dst).Miss += M_i*x_i

15.End For

16End If

17.End If

End

iData操作：当监测记录丢失较多时容易出现iData，iData操作和nData操作一样，也是根据平均重传次数确定漏听的数据包数。它们的不同点是nData只是推理一段链路的信息，而iData推理一条连续路径上的信息，iData操作如下：

iData操作算法

输入：当前监听到的数据包(pkt)，上一个数据包位置(last)，上一个数据帧位置(lastData)

输出：上次监听到数据包的接收状况和一条连续路径上漏听数据帧的个数

Begin

1.If (last >= 0 And last < GroupSize) Then

2.// 获得Group中last位置的数据包

3.lastPacket = getPacketFromGroup(last)

4.// 上次监听到的数据包传输成功

5.lastPacket.Received = True

6.// 计算从lastPacket的目的地址开始到pkt.src之间所有路径上漏听数据帧的个数

7.Addr = lastPacket.dst

8.While (Addr != pkt.src)

9.// 链路上成功传输了一次DATA类型数据包

10.Link(Addr, Addr.Parent).Recv++

11.// 根据移动加权平均算法统计漏听数据包个数,同nData操作

12.For (i = n-k; i < n; i++)

13.Link(Addr, Addr.Parent).Miss += M_i*x_i

14.End For

15.End While

16.End If

End

Claims (1)

1.无线传感网络的网络监测和协议分析系统，其特征在于：包括协议解析，将原始数据帧按照网络协议的层次结构和字段格式解析；记录合并，合并多个监测节点的监测记录，提供时间有序、更加完整的监测记录，更全面的对整个网络进行分析；记录推理，将有限状态机应用到多跳网络协议的漏听数据包数量和包接收状态的推断；数据可视化，提供了可配置的用户界面，通过多种可视化方式展示数据分析结果；

所述的协议解析包括：为支持协议的扩展，设计基于XML标准的协议结构描述方法，对于新的协议或用户自定义的协议，用户只需按照协议描述方法修改协议描述文件中的结构即可对其进行解析；为了提高数据包解析的效率，在系统启动时预先分析协议文件结构，将复杂的计算提前到数据包解析之前，这个过程称为协议预处理；

所述的记录合并按照时间顺序将多个监测记录合并成一个时间有序的全局监测记录，包括：时间同步算法使用时间偏移图方法将各监测记录的时间戳根据参考时间进行调整，使得在不同监测记录中的相同数据包时间戳相同；数据包合并算法采用最小堆存储结构，将时间同步后的数据包按照时间顺序合并成单一的监测记录，并过滤重复的数据包；时钟调整策略解决了合并过程中时钟漂移带来的误差，提高合并的准确性；

时钟调整策略包括：时钟微调，在监测记录合并模块运行过程中，利用重复数据包时间戳之间的微小偏差重新将节点调整到同步状态；节点时钟自调整，记录过去一段时间内节点时钟漂移情况，使用指数加权移动平均方法预测当前时钟漂移，主动调整自身的时钟偏差，抵消时钟漂移的误差；时钟重新同步，当节点间的时钟偏差超过设定的阈值或者发现逆序数据包时，重新启动时钟同步过程；

所述的记录推理针对被动监测中的数据包漏听和隐含事件推断问题，将有限状态机应用到多跳网络协议的漏听数据包数量的推断和包接收状态的推断，根据协议规则构建有限状态机，推理监测节点漏听数据包的数量和数据包的接收情况，提高被动监测数据包的完整性；

所述的数据可视化以多种方式展示数据分析结果，包括：数据包列表视图，展示监测节点抓取到数据包的信息，显示的信息可通过字段路径在配置文件中动态配置，同时对不同类型的数据包进行加色显示和过滤；数据包解码图，对列表图中选中的数据包按层和字段的父子关系按树形结构进行展示，每个字段的数值型数据可根据协议文件中的定义翻译成易懂的文字描述；时间轴，展示每个被监测节点在某个时间点上有数据包发送或接收，不同类型的数据包可显示不同的颜色标记；网络拓扑图，展示被监测网络的拓扑结构和相关的分析结果；统计图，显示各个被监测节点发送和接收的不同种类的数据包数等统计数据。

Images