CN106357479B - 一种全网络流量监测方法 - Google Patents

Abstract

本发明公开了一种全网络流量监测方法，包括以下步骤：一：选全网络中监测流量的路由器及采集器；二：获取m条OD流，提取OD流的路径信息，构建OD流流量矩阵P，同时将OD流进行OD编码，形成OD对标识映射表；三：利用OD流流量矩阵、OD流的路径信息和路由器的资源约束计算出不同范围的采样清单；四：将采样清单分配给路由器，并在入口的路由器同时分发OD对标识映射表；五：路由器及其采集器根据OD对标识映射表和采样清单对数据包进行监测，更新采集器流表中的流数据；六：采集器采集流数据并上传，形成监测报告。本发明的监测方法，路由器之间不会产生大量的冗余，各采集器之间不需要通信，网络负担小，并且全网流覆盖率大，处理效率高等优点。

Description

一种全网络流量监测方法

技术领域

本发明涉及信息安全技术领域，特别涉及一种全网络流量的监测方法。

背景技术

现有技术中对于网络流量监测都是依赖于在路由器上采集的各级的流的数量，但是每个路由器的监测能力是有限的，网络操作员想要用最佳的方式尽可能地去利用路由器的监测能力。然而，现存的路由器操作都是对单个而言，每个路由器都是独立地记录它监测的流量记录。这种方法不仅不能有效地利用路由器资源，而且还增加了网络操作者对于处理冗余和由于多个路由器监测而导致的数据模糊的影响。从单一角度的观点，现有技术的监测方法不能实现网络运营商直接指定和实现全网络测量的目的。并且在网络管理应用程序的目标之间与路由器之间还存在着原语的脱节。

现有技术对上述路由器采样也进行一些改进性的研究，但是目前改进方法仅是集中于对单个路由器的解决方案的改进，仍不能很好的适用于全网络大数据的监测。另外，这些改进方法一是缺乏应用(例如，不同的流量测度需要特定的流算法)的普遍性，二是事实上在流覆盖问题上不利用应用。然而，保持跟踪大量流会增加路由器监测的冗余(每个路由器会跟踪相同的大量流的集合)，但是却没有增加流的覆盖范围。

因此如何开发细粒度和准确的流量监测技术，合理的利用路由器的监测能力是目前业内棘手的问题。

发明内容

本发明的目的是针对上述现有技术的不足，而提供一种全网络流量监测方法，该方法对于路由器处理能力的不均匀性具有普遍适用性，能够合理的利用路由器的监测能力，并且路由器之间不会产生大量的冗余现象，各采集器之间不需要通信，因此网络负担小，并且在全网络中的流覆盖率大，处理效率高，监测结果准确。

为解决上述技术问题，本发明提供一种全网络流量监测方法，用于对计算机全网络中的流进行监测，采取的技术方案，包括以下步骤：

步骤S1：选定全网络中用于监测网络流量的n个路由器及所述路由器对应的采集器，每个路由器对应的采集器负责维护一张监测时间段内的流的集合的一张流表；

步骤S2：从全网络监控中心分别获取m条OD流，并提取每条OD流的路径信息，构建用于输入的OD流流量矩阵P，同时将获取的OD流进行OD编码，并形成OD对标识映射表；

步骤S3：利用所述OD流流量矩阵P、所述OD流的路径信息和所述采集器的资源约束计算出用于监测不同范围的采样清单；

步骤S4：将所述采样清单分别分配给所述n个路由器，并且，在全网络入口的路由器同时配置分发一个OD对标识映射表；

步骤S5：所述全网络中的路由器及其对应的采集器根据所述OD对标识映射表和所述采样清单对进入网络中的数据包进行分组监测分析，所述采集器更新其维护的流表；

步骤S6：所述采集器定时采集流表中的流数据并上传，所述全网络监控中心将所有上传的流数据进行集合分析处理，形成监测报告。

优选地，在步骤S2中，构建OD流流量矩阵P的方法包括以下步骤：

步骤S21：根据当前监测时间段去查找前一个具有相同时间点的监测时间段的历史监测记录，并提取具有相同源-目的m条OD流，构建初始OD流流量矩阵，将所述初始OD流流量矩阵作为获得当前监测时间段内初始的时间间隔的采样清单用的OD流流量矩阵；

步骤S22：与所述初始时间间隔时间连续的下一个时间间隔作为当前时间间隔，在所述当前时间间隔内，从全网络监控中心采集实测的m条OD流，并构建实测OD流流量矩阵P^obs，并将所述初始OD流流量矩阵作为历史OD流流量矩阵P^old；

步骤S23：对所述历史OD流流量矩阵P^old和所述实测OD流流量矩阵P^obs进行判断分析，构建组合OD流流量矩阵P^new，将所述组合OD流流量矩阵P^new作为获得当前时间间隔内的采样清单用的OD流流量矩阵P；

步骤S24：根据当前监测时间段的连续时间的时间间隔依次推移，上一个时间间隔构建的OD流流量矩阵作为历史OD流流量矩阵P^old，当前时间间隔构建的OD流流量矩阵作为实测OD流流量矩阵P^obs，返回到步骤S23，对步骤S23内的历史OD流流量矩阵P^old和实测OD流流量矩阵P^obs进行迭代计算。

优选地，在步骤S23中，构建组合OD流流量矩阵P^new方法如下：

给定一个阈值Δ，并计算所述历史OD流中OD_i流和实测OD_i流中OD_i流之间的估计误差其中1≤i≤m，P_i代表OD流流量矩阵P的第i列，将所述的阈值Δ与所述估计误差δ_i进行比较，结果分以下情况处理：

如果所有的OD流的所述估计误差δ均小于等于所述的阈值Δ，则将所述的历史OD流流量矩阵P^old作为组合OD流流量矩阵P^new；

如果至少有一个OD流的所述估计误差δ大于所述的阈值Δ，所述OD流流量矩阵P^new是通过如下方法获得：

如果大于那么将OD流流量矩阵P^new中的设为如果小于那么就要检查采集器当前负责监测的实测OD_i流的资源利用情况：如果所有的采集器的资源都有残余，那么将OD流流量矩阵P^new中的设为如果所有的采集器的资源都无残余或部分残余，设为

优选地，在步骤S5中，所述路由器和所述采集器对进入网络中的数据包进行分组监测分析的方法为：所述全网络入口的路由器将所述OD对标识映射表中的OD编码添加到通过该入口的路由器的数据包的包头中，所述全网络中的路由器将通过它的数据包导出给采集器，所述采集器识别数据包的包头中的OD编码，并根据所述的OD编码在对应的路由器负责的所述采样清单中查找，如果该OD编码不在所述采样清单内，则对该数据包不进行处理；如果该OD编码在所述采样清单内，先对该数据包进行Hash值标识，然后分下列情况处理：如果该数据包的Hash值标识在所述采样清单的监测范围内，则在所述采集器维护的流表中查找数据包：如果该数据包在该流表内，则在该流表内更新该数据包的新条目；如果所述数据包不在该流表内，则在该流表内新建该数据包对应的新条目；如果该数据包的Hash值标识不在所述采样清单的监测范围内，则对该数据包不进行处理。

优选地，在步骤S3中，所述采样清单范围为在保证总的流量覆盖最大的前提下使每条流被采集的数量最小的问题求解，通过采用约束方程求解所述采样清单范围的优化解d^*＝＜d_ij＞1≤i≤m,1≤j≤n，即：

max totgivenfrac(α)：

其中，R_j代表路由器j对应的采集器的资源约束；C_i代表实测OD流i被所有路由器对应的采集器采集的百分数；d_ij表示路由器j对应的采集器采集的OD流i的百分数；α代表每条流被采集的最小百分数；

将所述采样清单范围的优化解d^*＝＜d_ij＞1≤i≤m,1≤j≤n映射到所述路由器的采样清单中。

优选地，所述优化解的映射方法如下：

S41：设立OD流的初始值i＝0，路由器的初始值j＝0，采样清单范围的上界初始值Range＝0；

S42：所述路由器分配的Hash范围为HashRange(i，j)＝[Range，Range+d^*]；

S43：将i依次迭代成i′，i′为0＜i′≤m中的OD流，将j依次迭代成j′，j′为0＜j′≤n的路由器，Range依次迭代为Range′，Range′＝Range+d^*；

S44：所述路由器j的采样清单Manifest(j)＝{＜i,HashRange(i，j)＞|d^* _ij＞0}。

优选地，所述的采样清单的范围采用有向图方法，求解OD流到路由器的边E₃，求解方法如下：已知将全网络转化为有向图G＜V，E＞，其中，V表示节点，E表示连接各节点的边；

V＝{source，sink}∪{OD_i}_1≤i≤m∪{R_j}_1≤j≤n，其中，source表示源点，sink表示汇点；

E＝E₁∪E₂∪E₃，其中E，表示源点到OD流的边，E₂表示路由器到汇点的边，E₃表示OD流到路由器的边；

设f(x，y)表示边界处(x，y)∈E的OD流，1≤f≤m，求解采用的约束条件为：

其中，T_f代表OD流f的数量，R_j代表路由器j对应的采集器的资源约束，upper(x，y)代表OD流f在G中的上界，Iower(x，y)代表OD流f在G中下界，F为OD流f在全网络中可以通过的最大流量。

优选地，计算所述采样清单范围时分两步计算，计算步骤如下：

步骤51：根据二分查找法计算所述α；

步骤52：将计算的所述α带入对应的约束方程进行求解。

优选地，所述Hash值是通过Hash函数对流的源ip、目的ip、源端口号、目的端口号、协议这五组元素作为关键词来计算得到的。

本发明的有益效果是：本发明提供的全网络监测方法采用随机流采样，这样采样能够覆盖到全网络的流，覆盖范围广。本发明的监测方法在监测的过程中依赖协作来完成全网络的流的监测，即给路由器分配一个不同监测范围的采样清单，每个路由器及对应的采集器根据采样清单进行监测，监测范围能够覆盖到全网络，并且有效的避免了重复流的上报，减少了冗余，增加了监测的细粒度，并且并不需要路由器之间明确的通信，使监测过程简单精确。并且本发明的监测方法，利用了各路由器对应的采集器的资源约束来计算采样清单，因此本发明的监测方法适用于不同类的路由器，适用的普遍性高。本发明的监测方法具有覆盖到全网络、监测和处理效率高、监测的精准度高、具有普遍的适用性等优点。

附图说明

图1是本发明的全网络流量监测方法的实施例的方法流程图；

图2是图1的实施例中建立采样清单的流程图；

图3是图1的实施例中路由器和采集器监测全网络的流的流程图；

图4是本发明的全网络流量监测方法的实施例的架构示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。

本发明的全网络流量监测方法的实施例，如图1所示的流程图和图4所示的架构示意图，可以看出本发明的实施例包括以下步骤：

步骤S1：选定全网络中用于监测网络流量的n个路由器{1、2、3、...、n}及所述每个路由器对应的采集器，每个路由器对应的采集器对应负责维护一张监测时间段内的流的集合的一张流表；

步骤S2：从全网络监控中心分别获取m条OD流{OD1、OD₂、OD₃、...、OD_m}，并提取每条OD流的路径信息，构建用于输入的OD流流量矩阵P，同时将获取的OD流进行OD编码，并形成OD对标识映射表；

步骤S3：利用所述OD流流量矩阵P、所述OD流的路径信息和所述采集器的资源约束计算出用于监测不同范围的采样清单；

步骤S4：将所述采样清单分别分配给所述n个路由器，并且，在全网络入口的路由器同时配置分发一个OD对标识映射表；

步骤S5：所述全网络中的路由器及其对应的采集器根据所述OD对标识映射表和所述采样清单对进入网络中的数据包进行分组监测分析，所述采集器更新其维护的流表；

步骤S6：所述采集器定时采集流表中的流数据并上传，所述全网络监控中心将所有上传的流数据进行集合分析处理，形成监测报告。

为了能对全网络中的流顺利的进行监测，首先本发明的监测方法的实施例提出了协作采样，在全网络监控中心(NOC)可以获得全网络中的流的路径信息和OD流流量矩阵P。基于以上信息，NOC分析计算出采样策略，然后将映射有该采样策略的采样清单分发给每个的路由器，采样清单是一个配置文件，这个配置文件是指定路由器需要记录和上报给全网络监控中心的文件(也就是Hash的输出范围，Hash函数值范围在0～1之间)。对于全网络管理问题一种更简单的设计方式就是源-目的流(OD流)，OD流是由网络的进入点、网络的出点、总的流量数量(例如，字节数、包数、IP级流数)和OD流穿过的路由器级路径决定的。

但是在时间和空间上穿过网络的流量特征在变化，使得OD流流量矩阵为动态的，因此在步骤S2中构建用作输入的OD流流量矩阵P，优选地采用一个动态的处理方法，该构建输入的OD流流量矩阵P的动态处理方法包括以下步骤：

步骤S21：根据当前监测时间段去查找前一个具有相同时间点的监测时间段的历史监测记录，并提取具有相同源-目的m条OD流，构建初始OD流流量矩阵，将所述初始OD流流量矩阵作为获得当前监测时间段内初始的时间间隔的采样清单用的OD流流量矩阵；

步骤S22：与所述初始时间间隔时间连续的下一个时间间隔作为当前时间间隔，在所述当前时间间隔内，从全网络监控中心采集实测的m条OD流，并构建实测OD流流量矩阵P^obs，并将所述初始OD流流量矩阵作为历史OD流流量矩阵P^old；

步骤S23：对所述历史OD流流量矩阵P^old和所述实测OD流流量矩阵P^obs进行判断分析，构建组合OD流流量矩阵P^new，将所述组合OD流流量矩阵P^new作为获得当前时间间隔内的采样清单用的OD流流量矩阵P；

步骤S24：根据当前监测时间段的连续时间的时间间隔依次推移，上一个时间间隔构建的OD流流量矩阵作为历史OD流流量矩阵P^old，当前时间间隔构建的OD流流量矩阵作为实测OD流流量矩阵P^obs，返回到步骤S23，对步骤S23内的历史OD流流量矩阵P^old和实测OD流流量矩阵P^obs进行迭代计算。

下面通过举例详细的描述对这一动态变化的处理方法。

长期变化：处理可预测变化的一种常见方法是有效地利用历史的数据。例如，当计算一个比如说是这周周五的上午9点到10点这个监测时间段内的采样清单时，我们可以利用上周周五上午9点到10点这个监测时间段内的监测到的OD流，构建初始OD流流量矩阵P^old来作为输入的OD流流量矩阵。

短期变化：为了解决不太能预测的短期的流量变化，我们采用平均长期(比如，一周)的OD流流量矩阵来运行，是利用两个不同的时间规模：一个粗糙的时间规模(比如，小时)去平均历史数据，一个精细的时间规模(比如，五分钟)去运行协作采样方案。

假设我们想要计算当前周的周五上午9点到10点这个监测时间段内的每五分钟的采样清单，每五分钟为一个时间间隔，当然时间间隔还可以设置成10分钟，20分钟等。为了避免过符合，我们利用上一周周五上午9点到10点期间，每五分钟得到的OD流的OD流流量矩阵共12份进行平均得到初始OD流流量矩阵，将所述初始OD流流量矩阵作为获得计算第一个五分钟这个初始时间间隔的采样清单的输入的OD流流量矩阵。

当需要监测下一个五分钟内的流时，初始五分钟时间间隔作为上一个时间间隔，下一个五分钟时间间隔作为当前时间间隔。该当前时间间隔的采样清单用的组合OD流流量矩阵P^new方法如下：

给定一个阈值Δ，并计算所述历史OD流中OD_i流和实测OD_i流中OD_i流之间的估计误差其中1≤i≤m，P_i代表OD流流量矩阵P的第i列，将所述的阈值Δ与所述估计误差δ_i进行比较，结果分以下情况处理：

如果所有的OD流的所述估计误差δ均小于等于所述的阈值Δ，则将所述的历史OD流流量矩阵P^old作为组合OD流流量矩阵P^new；

如果至少有一个OD流的所述估计误差δ大于所述的阈值Δ，所述OD流流量矩阵P^new是通过如下方法获得：

如果大于那么将OD流流量矩阵P^new中的设为如果小于那么就要检查采集器当前负责监测的实测OD_i流的资源利用情况：如果所有的采集器的资源都有残余，那么将OD流流量矩阵P^new中的设为如果所有的采集器的资源都无残余或部分残余，设为

因为每个路由器对应的采集器操作都是独立的，比如路由器的采集器独立地记录它监测的流的集合，那么采用现有技术中对流进行监测的方法，会使所有的采集器的监测的结果之间产生重复的现象，这样会造成对上报带宽和路由器内存资源的极大浪费，同时也会对已存在的资源约束产生很大的压力。此外，当合并或分析来自多个路由器对应的采集器采集的流信息时，多样的结果会导致额外数据管理的开销。本发明的监测方法的实施例通过采用Hash协作的设计原理，可以最大程度地消除这些弊端。本实施例采用基于Hash的方式来执行采集器之间的协作，各路由器之间不需要明确的通信。

具体的来说，基于Hash的选择以便于在同一的路由器级路径(网络的进出)中的不同的路由器选择不同的流进行监测。本发明的监测方法的实施例的重点就是路径上分配给不同路由器的采样清单的Hash值的范围不重叠。

根据上述构建的输入的OD流流量矩阵、上述步骤S2中获取的OD流的路径信息和已知的采集器的资源约束来计算采样清单，在这里将采样清单范围描述成在保证总的流量覆盖最大的前提下使每条流被采集的数量最小的问题求解，通过采用约束方程求解所述采样清单范围的优化解d^*＝＜d_ij＞1≤i≤m,l≤j≤n，然后将该优化解映射到采样清单中，就形成了采样清单的监测范围。

本发明的监测方法是假定在SRAM有持续计数流的这种能力。因此这些路由器对应的采集器的资源约束总结为内存(在SRAM中每条流的计数)(a)和上报流记录给采集点(典型的是NOC)(b)的带宽。本文抽象(a)和(b)为一个单独的资源约束R_j，代表的是路由器j对应的采集器在监测时间段内记录和上报的流的数量。

R_j代表路由器j(j＝1，...，n)对应的采集器的总的资源约束，也就是说采集器需要监测的OD流的总的数量不能超过该总的负载约束R_j。也就是

下一个，对于i＝1，...，m，设Ci代表的是监测到的OD流i被所有采集器采集的百分数。本发明的监测方法的实施例仅需要考虑确保给定的OD流的路径上的路由器的采样清单覆盖的流。因此，C_i是OD流i在路由器级的路径上穿过的不同路由器的覆盖的百分数d_ij的总和。

因为覆盖范围的值代表的是数量的百分比，因此百分比有个自然地约束，

最后，因为d_ij是指OD流i在路由器j对应的采集器上的覆盖百分比，因此它受自然约束在[0，1]之间；然而，因为在式(3-3)的约束中将d_ij的上限约束纳入，所以得到了变量d_ij左边的约束，即

假设α代表每条流被采集的最小百分数，推出额外的约束表达

继而在方程式(3-1)～(3-5)中获得采样清单范围的最优解。

综上所述，求解采样清单范围的优化解d^*采用约束方程为：

max totgivenfrac(α)：

下一步，需要将上述求出的最优解映射到采样清单中去，建立不同hash范围的采样清单，为每个路由器对应的采集器明确其负责监测的范围。图2是建立采样清单的流程图，即将最优解决方案d^*映射到采样清单的过程；采样清单明确了每一条OD流穿过的路由器上的唯一的、非重叠的Hash范围。其方法如下：

步骤S41：设立OD流的初始值i＝0，路由器的初始值j＝0，采样清单范围的上界初始值Range＝0；

步骤S42：路由器分配的Hash范围为HashRange(i，j)＝[Range，Range+d^*]；

步骤S43：将i依次迭代成i′，i′为0＜i′≤m中的OD流，将j依次迭代成j′，j′为0＜j′≤n的路由器，Range依次迭代为Range′，Range′＝Range+d^*；

步骤S44：路由器j的采样清单Manifest(j)＝{＜i,HashRange(i，j)＞|d^* _ij＞0}。

为了能够接近实时地响应全网络变化，所以本发明的监测方法的实施例要求计算最优解并分发给路由器来实现全网流量监测目标最多的也必须在几秒的时间内。然而，事实上在大型的网络中去实现上述的目标需要几百秒，使得这一步比较的耗时，为了减少计算的时间，本发明的监测方法的实施例简化为两步优化来实现：第一步是用二分查找的方式来决定α，这一步是通过不断实验找到合适的即maxtotgivenfrac(a)再来解决线性方程继而决定α，这一步比先去解决约束方程再去求解α要快得多；第二步，将计算的α带入到对应的约束方程中对采样清单的优化解进行求解。这种优化求解方式在计算采样策略时大大减少计算时间。

二分查找：

这个方法的主要思想是用二分方法找到线性方程式中用到的maxtotgivenfrac(α)的中的α的值。这个方法首先设置一个误差参数ε，以保证返回得到的最小的α^*，能够使得α-α^*≤ε。这个方法是持续追踪最小的α_lower＝a^*。在每次迭代时，高低界限都会根据当前α是否可行进行更新，这时当前的α会被更新为(α_lower+α_upper)/2。

这种查找是从α＝α_upper开始的，然后当α_upper-α_lower小于ε时，那么就会将α^*的返回值设为α_lower，这就为最后的截止点。

通过上述步骤已经求解出采样清单及其范围，那么上述步骤S4就需要将采样清单分配给全网络的各个路由器，然后由路由器及其采集器根据分配的采样清单来监测流。

一旦一个路由器收到它的采样清单，路由器对应的采集器去执行协作采样的算法是很简单的，如图3是本实施例中路由器对应的采集器监测流的流程图。

下面将详细的描述路由器根据其分配到的采样清单进行流监测的方法。

首先每个路由器在监测分组时，必须识别OD流属于哪个分组，因此必须首先对OD流进行识别。以前的方法是通过源-目的IP和路径信息来推断给定分组的OD对。但是，这种方法使得以上信息由于前缀聚合的原因不可能直接从路径表中辨识出内部的路由器。但是当一个流以数据包的方式进入网络时，入口的路由器能够很好地去识别到合适的出口路由器，因此本发明的实施例中路由器及其采集器对流进行分组监测的方法为，所述全网络入口的路由器将所述OD对标识映射表中的OD编码添加到通过该入口的路由器的数据包的包头中，所述全网络中的路由器将通过它的数据包导出给采集器，所述采集器识别数据包的包头中的OD编码，并根据所述的OD编码在对应的路由器负责的所述采样清单中查找，如果该OD编码不在所述采样清单内，则对该数据包不进行处理；如果该OD编码在所述采样清单内，先对该数据包进行Hash值标识，然后分下列情况处理：如果该数据包的Hash值标识在所述采样清单的监测范围内，则在所述采集器维护的流表中查找数据包：如果该数据包在该流表内，则在该流表内更新该数据包的新条目；如果所述数据包不在该流表内，则在该流表内新建该数据包对应的新条目；如果该数据包的Hash值标识不在所述采样清单的监测范围内，则对该数据包不进行处理。

路由器对应的采集器对其接收到的数据包进行Hash值标识，所述Hash值进行标识是由每个OD流的源IP、目的IP、源端口号、目的端口号和协议号的五元组信息经过Hash函数处理得到的，这样就避免的OD流的冲突并能够使得路由器能够快速识别OD信息，且能够节省空间。这里的Hash函数是采用的能够快速计算和存储的移位异或运算求得Hash值，并在映射表中对每一个不一样的Hash值的OD对进行初级编码，用该编码对OD流流量矩阵的流量数进行输入。

该路由器对应的采集器只选择和记录属于它分配到的范围内的流，因为Hash范围不可能重叠，所以穿过路由器的记录的流的集合也不会重叠，从而确保了采集器记录的流的不冗余性，因此首先解放了路由器对应的采集器的约束压力，同时简化了处理所有采集器的总的流信息的处理过程，进而使得监测结果精准度更高。

每个路由器对应的采集器的采样过程的原理相同，在确定的监测时间段内，会形成一个新的流表，监测时间结束后，由采集器将维护的新的流表中的流数据收集上报，形成监测报告。

接下来，对每个OD对多路径的结合的监测情况进行优化监测。

在给定的路径和拓扑信息，我们可以获得每个OD对的多条路径和计算出穿过多路径的每一条流的数量。然后，我们把每个不同的路径用不同的独立的流量作为一种独特的逻辑OD对。举一个例子，假设OD_i有两条路径和我们将和用流量值和作为独立的OD对。在这个例子里，我们将约束式中对于采集器的资源约束R_j有R_j＝d_ij×T_i，如果R_j位于路径和上时d_ij×T_i将转化为

本发明的监测方法在路由器对应的采集器约束建模、流量和路径策略的结合和具体的目标方面具有很大的灵活性，即使网络中的路由器的不均匀性，路由器同样容易获得它所需要监测的采样清单。不仅是由于路由器软件的不同版本和硬件可能造成负载能力的不同，并且操作者使用的方程式给网络中不同类的路由器(例如，进入、边界、骨干)以特定的单独的采样策略，都有可能导致路由器的不均匀性。但是因为本发明的监测方法先前没有制定关于输入OD流流量矩阵的要求(也就是说，内部路径和OD流量的要求)，因此它对于任意的路径策略和OD流流量矩阵都具有普遍性。

实施例二

本实施例与实施例一的区别在于，上述的采样清单还可以采用有向图方法计算，求解OD流到路由器的边E₃，求解方法如下：已知将整个网络转化为有向图G＜V，E＞，其中，V表示节点，E表示连接各节点的边；

V＝{source，sink}∪{OD_i}_1≤i≤m∪{R_j}_1≤j≤n，其中，source表示源点，sink表示汇点；

E＝E₁∪E₂∪E₃，其中E₁表示源点到OD流的边，E₂表示路由器到汇点的边，E₃表示OD流到路由器的边；

设f(x，y)表示边界处(x，y)∈E的流，1≤f≤m，求解采用的约束条件为：

其中，T_f代表OD流f的数量，R_j代表路由器j对应的采集器的资源约束，upper(x，y)代表OD流f在G中的上界，lower(x，y)代表OD流f在G中下界，F为OD流f在全网络中可以通过的最大流量。

这种向量图求解采样清单的方法能够大大的减少计算的时间，因此能够很快的将采样清单分发给路由器，这样能够实时地响应网络变化，监测数据精准度更高，监测数据准确。

本发明提供的全网络监测方法能够覆盖到全网络的流，问题描述成以最小的采样率实现最大流覆盖，对全网络的流进行监测，本发明的监测方法在监测的过程中依赖协作来完成全网络的监测，即给路由器分配一个不同监测范围的采样清单，每个路由器及其采集器根据分配的采样清单进行监测，监测范围能够覆盖到全网络，并且有效的避免了重复流的上报，减少了冗余，增加了监测的细粒度，并且并不需要路由器之间明确的通信，使监测过程简单精确，并且本发明的监测方法，利用了各路由器对应的采集器的资源约束来计算采样清单，因此本发明的监测方法同样适用于不同类的路由器，本发明的监测方法具有覆盖到全网络、监测并处理效率高、监测的精准度高、具有普遍的适用性等优点。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均包括在本发明的专利保护范围内。

Claims (8)

1.一种全网络流量监测方法，用于对计算机全网络中的流进行监测，其特征在于，包括以下步骤：

步骤S1：选定全网络中用于监测网络流量的n个路由器及所述路由器对应的采集器，每个路由器对应的采集器负责维护一张监测时间段内的流的集合的一张流表；

步骤S2：从全网络监控中心分别获取m条OD流，并提取每条OD流的路径信息，构建用于输入的OD流流量矩阵P，同时将获取的OD流进行OD编码，并形成OD对标识映射表；

在步骤S2中，构建OD流流量矩阵P的方法包括以下步骤：

步骤S21：根据当前监测时间段去查找前一个具有相同时间点的监测时间段的历史监测记录，并提取具有相同源-目的m条OD流，构建初始OD流流量矩阵，将所述初始OD流流量矩阵作为获得当前监测时间段内初始的时间间隔的采样清单用的OD流流量矩阵；

步骤S22：与所述初始时间间隔时间连续的下一个时间间隔作为当前时间间隔，在所述当前时间间隔内，从全网络监控中心采集实测的m条OD流，并构建实测OD流流量矩阵P^obs，并将所述初始OD流流量矩阵作为历史OD流流量矩阵P^old；

步骤S23：对所述历史OD流流量矩阵P^old和所述实测OD流流量矩阵P^obs进行判断分析，构建组合OD流流量矩阵P^new,将所述组合OD流流量矩阵P^new作为获得当前时间间隔内的采样清单用的OD流流量矩阵P；

步骤S24：根据当前监测时间段的连续时间的时间间隔依次推移，上一个时间间隔构建的OD流流量矩阵作为历史OD流流量矩阵P^old，当前时间间隔构建的OD流流量矩阵作为实测OD流流量矩阵P^obs，返回到步骤S23，对步骤S23内的历史OD流流量矩阵P^old和实测OD流流量矩阵P^obs进行迭代计算；

步骤S3：利用所述OD流流量矩阵P、所述OD流的路径信息和所述采集器的资源约束计算出用于监测不同范围的采样清单；

步骤S4：将所述采样清单分别分配给所述n个路由器，并且，在全网络入口的路由器同时配置分发一个OD对标识映射表；

步骤S5：所述全网络中的路由器及其对应的采集器根据所述OD对标识映射表和所述采样清单对进入网络中的数据包进行分组监测分析，所述采集器更新其维护的流表；

步骤S6：所述采集器定时采集流表中的流数据并上传，所述全网络监控中心将所有上传的流数据进行集合分析处理，形成监测报告。

2.根据权利要求1所述的全网络流量监测方法，其特征在于，在步骤S23中，构建组合OD流流量矩阵P^new方法如下：

给定一个阈值Δ，并计算所述历史OD流中OD_i流和实测OD流中OD_i流之间的估计误差δ_i＝abs((P_i ^obs-P_i ^old)/(P_i ^old))，其中1≤i≤m，P_i代表OD流流量矩阵P的第i列,将所述的阈值Δ与所述估计误差δ_i进行比较，结果分以下情况处理：

如果所有的OD流的所述估计误差δ均小于等于所述的阈值Δ，则将所述的历史OD流流量矩阵P^old作为组合OD流流量矩阵P^new；

如果至少有一个OD流的所述估计误差δ大于所述的阈值Δ，所述OD流流量矩阵P^new是通过如下方法获得：

如果P_i ^obs大于P_i ^old，那么将OD流流量矩阵P^new中的P_i ^new设为P_i ^new＝P_i ^obs；如果P_i ^obs小于P_i ^old，那么就要检查采集器当前负责监测的实测OD_i流的资源利用情况：如果所有的采集器的资源都有残余，那么将OD流流量矩阵P^new中的P_i ^new设为P_i ^new＝P_i ^obs；如果所有的采集器的资源都无残余或部分残余，设为P_i ^new＝P_i ^old。

3.根据权利要求1或2所述的全网络流量监测方法，其特征在于，在步骤S5中，所述路由器和所述采集器对进入网络中的数据包进行分组监测分析的方法为：所述全网络入口的路由器将所述OD对标识映射表中的OD编码添加到通过该入口的路由器的数据包的包头中，所述全网络中的路由器将通过它的数据包导出给采集器，所述采集器识别数据包的包头中的OD编码，并根据所述的OD编码在对应的路由器负责的所述采样清单中查找，如果该OD编码不在所述采样清单内，则对该数据包不进行处理；如果该OD编码在所述采样清单内，先对该数据包进行Hash值标识，然后分下列情况处理：如果该数据包的Hash值标识在所述采样清单的监测范围内，则在所述采集器维护的流表中查找数据包：如果该数据包在该流表内，则在该流表内更新该数据包的新条目；如果所述数据包不在该流表内，则在该流表内新建该数据包对应的新条目；如果该数据包的Hash值标识不在所述采样清单的监测范围内，则对该数据包不进行处理。

4.根据权利要求1所述的全网络流量监测方法，其特征在于，在步骤S3中，所述采样清单范围为在保证总的流量覆盖最大的前提下使每条流被采集的数量最小的问题求解，通过采用约束方程求解所述采样清单范围的优化解d^*＝<d_ij>1≤i≤m，1≤j≤n，即:

max totgivenfrac(α)：

其中，R_j代表路由器j对应的采集器的资源约束；C_i代表实测OD流i被所有路由器对应的采集器采集的百分数；d_ij表示路由器j对应的采集器采集的OD流i的百分数；α代表每条流被采集的最小百分数；

将所述采样清单范围的优化解d^*＝<d_ij>1≤i≤m，1≤j≤n映射到所述路由器的采样清单中。

5.根据权利要求4所述的全网络流量监测方法，其特征在于，所述优化解的映射方法如下：

S41：设立OD流的初始值i＝0，路由器的初始值j＝0，采样清单范围的上界初始值Range＝0；

S42:所述路由器分配的Hash范围为HashRange(i，j)＝[Range，Range+d^*]；

S43:将i依次迭代成i'，i'为0<i'≤m中的OD流，将j依次迭代成j',j'为0<j'≤n的路由器，Range依次迭代为Range',Range'＝Range+d^*；

S44:所述路由器j的采样清单Manifest(j)＝{<i,HashRange(i,j)>|d^* _ij>0}。

6.根据权利要求1所述的全网络流量监测方法，其特征在于，所述的采样清单的范围采用有向图方法，求解OD流到路由器的边E₃，求解方法如下：已知将全网络转化为有向图G<V,E>，其中，V表示节点，E表示连接各节点的边；

V＝{source，sink}∪{OD_i}_1≤i≤m∪{R_j}_1≤j≤n,其中，source表示源点，sink表示汇点；

E＝E₁∪E₂∪E₃，其中E₁表示源点到OD流的边，E₂表示路由器到汇点的边，E₃表示OD流到路由器的边；

设f(x,y)表示边界处(x,y)∈E的OD流，1≤f≤m，求解采用的约束条件为：

其中，T_f代表OD流f的数量，R_j代表路由器j对应的采集器的资源约束，upper(x,y)代表OD流f在G中的上界，lower(x,y)代表OD流f在G中下界，F为OD流f在全网络中可以通过的最大流量。

7.根据权利要求5所述的全网络流量监测方法，其特征在于，计算所述采样清单范围时分两步计算，计算步骤如下：

步骤51：根据二分查找法计算所述α；

步骤52：将计算的所述α带入对应的约束方程进行求解。

8.根据权利要求7所述的全网络流量监测方法，其特征在于，所述Hash值是通过Hash函数对流的源ip、目的ip、源端口号、目的端口号、协议号这五组元素作为关键词来计算得到的。