CN108924013B - 网络流量精确采集方法及装置 - Google Patents

Abstract

本发明实施例提供一种网络流量精确采集方法及装置，所述方法包括：创建多个进程，每个所述进程包括多个线程，每个进程与且只与一个采集列表对应，所述采集列表包括各终端的模型信息；通过所述进程获取对应的所述采集列表，以采集所述各终端的网络流量，采集完成后将采集结果存入至内存结构。本发明实施例提供的网络流量精确采集方法及装置，通过建立多个进程，每个进程下设置多个线程，实现并发采集多个终端的网络流量，从而显著提高了流量采集的精确度。

Description

网络流量精确采集方法及装置

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种网络流量精确采集方法及装置。

背景技术

随着电信业务飞速发展，网络传输上的流量越来越大，单个传输设备端口上流量会越来越高，传统采集交换机或路由器流量的方法的精确度已经不能满足业务需要。

例如，客户设备监控某交换机端口的流量指标，流量指标值会随着业务一直累计而增加，而该交换机端口仅支持32位指标，流量值达到2^32数值后流量值就会清零，并且从0开始重计。此时，客户设备在5分钟内的业务流量实际能达到10G＝10737418240字节，是2^32数值的2.5倍，也就是说采集过程中，会出现2～3次清零重计。当运营商想统计5分钟内的流量值时，如果采用这种方法进行采集，会导致数据出现较大的误差。

同时，交换机或路由器在网络传输上存在耗损情况，并且老旧程度不同，其响应能力也不同。例如，在某些老旧的交换机或路由器上，CPU处理速度慢，可能无法立即响应采集指令；或者交换机或路由器距离网管系统路径较远，响应指令速度有延时等。

因此，如何实现在响应周期内精准采集网络流量，是目前业界亟待解决的需要课题。

发明内容

针对现有技术存在的问题，本发明实施例提供一种网络流量精确采集方法及装置。

本发明实施例提供一种网络流量精确采集方法，包括：

创建多个进程，每个所述进程包括多个线程，每个进程与且只与一个采集列表对应，所述采集列表包括各终端的模型信息；

通过所述进程获取对应的所述采集列表，以采集所述各终端的网络流量，采集完成后将采集结果存入至内存结构。

本发明实施例提供一种网络流量精确采集装置，包括：

获取模块，用于建立多个进程，每个进程包括多个线程，每个线程获取对应的采集列表；其中，所述采集列表包括各终端的模型信息；

采集模块，用于根据所述采集列表，采集各终端的网络流量，采集完成后将采集结果存入至内存结构。

本发明实施例提供的网络流量精确采集方法及装置，通过建立多个进程，每个进程下设置多个线程，实现并发采集多个终端的网络流量，从而显著提高了流量采集的精确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明网络流量精确采集方法流程图；

图2为本发明网络流量精确采集装置结构示意图；

图3为本发明实施例提供的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

SNMP(Simple Network Management Protocol，简单网络管理协议)协议是应用最广泛的网管协议。基于SNMP收集网络流量信息的方法，当交换机端口流量逐渐增大，当流量值累计到2^32时，会重新清零从0开始重计。在大规模传输网络环境下，有些交换机处理的业务量较大，出现统计流量值不准的问题。因为在某些老旧交换机上，设备的CPU处理速度慢，发出的采集指令交换机可能无法立即响应。同时，由于SNMP管理端使用轮询的方式获取流量，当交换机距离网管系统路径较远时，响应指令速度有延时。

为了解决上述问题，本发明提供一种网络流量精确采集方法及装置，通过建立多个进程，每个进程下设置多个线程，实现并发采集多个终端的网络流量，从而显著提高了流量采集的精确度。

应当清楚，本文提及的终端包含智能终端、多媒体设备或流媒体设备等，例如，可以是手机、个人计算机(PersonalComputer，简称PC)、平板电脑、笔记本电脑等。本文提及的调度服务器、采集服务器等技术名词，均为本领域技术人员所理解的通常意义。

图1为本发明网络流量精确采集方法流程图，如图1所示，包括：

S1、建立多个进程，每个进程包括多个线程，每个进程获取对应的采集列表；其中，所述采集列表包括各终端的模型信息；

S2、根据所述采集列表，采集各终端的网络流量，采集完成后将采集结果存入至内存结构。

需要说明的是，本发明实施例通过设计网络流量精确采集系统，以实现上述方法步骤。在网络流量精确采集系统中，包括至少一台调度服务器、多台采集服务器和多台终端。调度服务器通过SFTP(Secure File Transfer Protocol，安全文件传送协议)的方式向采集服务器下达指令，采集服务器根据调度服务器下发的指令，再向终端发送对应的指令。

容易理解的是，通过设置多台采集服务器，建立多个进程；每台采集服务器对应一个进程。每台采集服务器下分多台终端，每台终端对应进程下的一个线程。调度服务器有统一的调度进程，调度进程定时启动，通过SFTP的方式，将采集任务下达给采集服务器。例如，可以设置调度进程每15分钟启动一次，检测是否有新的终端加入，或者检测是否收到采集服务器上报的异常。

若检测到新的终端，调度服务器将目前的采集服务器根据下分的终端数量进行排序，将新的终端分配给已拥有终端数量最少的采集服务器。若有多台采集服务器的终端数量最少，则将新的终端随机分配给这些采集服务器。

采集任务中包括各采集服务器需要采集的终端IP、OID(Object Identifier，对象标识符)、SNMP凭证等模型信息。采集服务器内带有存放模型信息的路径。调度服务器定时给所有采集服务器发送采集任务，采集服务器将收到的采集任务中的模型信息进行存储。采集任务以目录结构的形式存储，每个目录下对应一台采集服务器需要采集的终端的模型信息。有本次采集中各个进程需要采集的终端模型信息。在采集开始之前，采集服务器的进程通过路径查找采集任务，找到本次采集中本台采集服务器需要采集的模型信息，即采集列表。采集开始时，采集服务器根据采集列表，对各终端的模型信息进行采集。

采集服务器获取各终端的模型信息后，开始对各个终端进行流量采集；对应地，进程根据各终端的模型信息，指示各线程执行流量采集。本次采集结束后，将采集的结果存入至内存结构。采集结果包括本次采集的开始时刻、流量瞬时值、Delta值和上次采集的开始时刻、上次采集完成后的流量累计值。其中，内存结构形式如下：

{DevcieID:{InterfaceID:{IndicatorVO:{IndicatorID,CollectionVO:{collecttime,collectvalue,deltavalue},startdaytime,finalcumulativevalue}}}}；

其中，collecttime表示本次采集的开始时刻，collectvalue表示本次采集开始时的流量瞬时值，deltavalue本次采集的Delta值，startdaytime表示上次采集的开始时刻，finalcumulativevalue表示上次采集结束时的流量的累计值。

例如，对于内存结构：

{[20171203124515],[357452134524354],[3468],[20171203124000],[2432131153]}；

其中，“20171203124515”表示本次采集的开始时刻为2017年12月3日12时45分15秒，“357452134524354”表示本次采集开始时的流量瞬时值，“3468”表示本次采集的Delta值，“20171203124000”表示上次采集的开始时刻为2017年12月3日12时40分00秒，“2432131153”表示上次采集结束时的流量的累计值。

本次采集结束后，采集服务器将存储有采集结果的内存结构写入临时文件collection15scachetmp。由于新创建临时文件会占用一定的时间和内存，出于效率的考虑，在写入完成后，将collection15scachetmp文件重命名为collection15scache文件。每5分钟使用一个内存结构，下一个5分钟使用另一个内存结构。这样处理的目的是，若有终端某次采集时长超过3秒，但采集失败次数又不超过3次，则原先的内存结构可以用来该终端后续的采集结果的写入。如果采集异常退出，则下次启动时一并把写出的collection15scache文件加载到内存结构，再次累计使用，这样保证即便系统异常退出后，之前的流量累计的数据不会丢失。因此，在进程获取采集列表的同时，还加载上次采集退出后遗留的采集内存结构collection15scache文件。

在上述实施例的基础上，计算流量时，通常是后一个时刻的瞬时值减前一个时刻的瞬时值，从而得到该时间段内的流量值。然后把5分钟内的流量值做累计，从而得到5分钟的流量值。

例如，2017年12月03日12:49:50开始采集时的内存结构为：

{[20171203124950],[10000002000],[2000],[20171203124000],[10000]}

2017年12月03日12:50:05开始采集时的内存结构为：

{[20171203125005],[10000005000],[1000],[20171203124500],[14000]}

12:49:50发起的采集的瞬时值是10000002000，Delta值是2000；12:50:05发起的采集的瞬时值是10000005000，相较于上个时刻，流量大了3000，因此Delta的实际值是3000。但由于12:49:50至12:50:05的时长跨了5分钟的周期，因此，需要计算[124500,125000]这个区间的流量。而124950开始采集，距离125000还有10秒的差距，所以修正124950～125000区间流量为3000*10/15＝2000。而下个周期125000～125500，开始的Delta值则为清零后再加上3000*5/15的值，即为1000。同时，将124500时刻的流量值写入内存结构。到124600时刻，则把124500时刻的值写入文件存储。如果人为将采集停止5分钟以上，采集线程在做流量统计时发现上个采集的时刻跟本次采集时刻相差在5分钟以上，则Delta值清零重计。

本发明实施例通过建立多个进程，每个进程下设置多个线程，实现并发采集多个终端的网络流量，从而显著提高了流量采集的精确度。

在上述实施例的基础上，多个线程中包括一个主线程，主线程在创建进程时同时创建；相应地，根据所述采集列表，采集各终端的网络流量，包括：

记录每个线程获取对应的采集列表的耗时；

若所有线程的耗时均小于第一预设时长，则在达到第一预设时长时结束主线程；

若达到第一预设时长时仍然存在未采集完成的线程，则等待所述线程采集完成后结束主线程。

本领域技术人员应当清楚，进程是指在系统中正在运行的一个应用程序；线程是系统分配处理器时间资源的基本单元，或者说进程之内独立执行的一个单元。对于操作系统而言，其调度单元是线程。一个进程至少包括一个线程，通常将该线程称为主线程。一个进程从主线程的执行开始进而创建一个或多个附加线程，就是多线程。

需要说明的是，线程开始对终端的流量进行采集时，此时主线程记录采集开始时间starttime。主线程可以通过预设采集时长，若所有线程在预设采集时长内全部采集结束，此时记录采集结束时间endtime，主线程则进入Sleep状态，等待至第一预设时长结束。若有部分线程的采集时长超过预设采集时长，进程则等待全部线程采集结束后，再开始下一次的采集。如果长时间观察到部分线程在预设采集时长内采集不完，导致并发不够，可将线程数适当增加。

例如，原先默认线程池内共有20个线程，经过观察进行调整增加至25个线程。例如预设采集时长为15s，若所有线程在15s内全部采集结束，此时记录采集结束时间endtime，主线程则等待至15s结束。用15s-(endtime-starttime)获取剩余的时间，进程需要sleep完剩余的时间。若有部分线程的采集时长超过15s，主线程则等待全部线程采集结束后，再开始下一次的采集。

如果长时间观察到部分线程在预设采集时长内采集不完，导致并发不够，可将线程数适当增加。例如，原先默认线程池内共有20个线程，经过观察进行调整，增加至25个线程。

在上述实施例的基础上，根据所述采集列表，采集各终端的网络流量，包括：

对于任意一个终端，若当前采集所述终端的网络流量的时长大于第二预设时长，则视为对于所述终端的采集失败，并更新所述采集失败的计数。

在上述实施例的基础上，若采集终端网络流量的时长大于第二预设时长，则将采集终端的失败次数增加，包括：

若所述终端的采集失败的情况未连续发生，则将所述采集失败的计数归零；

若所述终端的采集失败的情况连续发生，则根据连续发生的次数增加所述采集失败的计数，若所述采集失败的计数大于第一阈值，则将所述终端异常采集列表。

需要说明的是，例如，如果出现某台终端采集时长超过3秒，则视为超时，则对该终端失败数计为1。若采集该终端连续失败3次，本次采集放弃该设备。但如果不到3次，又能采集到，则清空失败次数。对于本次放弃的终端，下次重新加回采集列表。

在上述实施例的基础上，根据所述采集列表，采集各终端的网络流量，还包括：若连续的规定时间内，采集终端的失败次数大于第二预设阈值，则将所述终端标记为失败设备并进行上报。

需要说明的是，若采集某终端连续3个5分钟都采集失败，则采集服务器给调度服务器发送消息，上报异常，调度服务器将该终端标记为失败设备，并将该终端从采集任务中去除。

图2为本发明网络流量精确采集装置结构示意图，如图2所示，包括获取模块201和采集模块202，其中：获取模块201用于建立多个进程，每个进程包括多个线程，每个进程获取对应的采集列表；其中，所述采集列表包括各终端的模型信息；采集模块202用于根据所述采集列表，采集各终端的网络流量，采集完成后将采集结果存入至内存结构。

需要说明的是，设置多台采集服务器，建立多个进程；每台采集服务器对应一个进程。每台采集服务器下分多台终端，每台终端对应进程下的一个线程。调度服务器有统一的调度进程，调度进程定时启动，通过SFTP的方式，将采集任务下达给采集服务器。采集任务中包括各采集服务器需要采集的终端IP、OID(Object Identifier，对象标识符)、SNMP凭证等模型信息。采集服务器内带有存放模型信息的路径。调度服务器定时给所有采集服务器发送采集任务，采集服务器将收到的采集任务中的模型信息进行存储。采集服务器根据内置的采集进程，找到对应的采集列表。采集列表任务以目录结构的形式存储，每个目录下对应一台采集服务器需要采集的终端的模型信息。

在采集开始之前，采集服务器的进程通过路径查找采集任务，找到本次采集中本台采集服务器需要采集的模型信息，即采集列表。采集开始时，采集服务器根据采集列表，对各终端的模型信息进行采集。具体的，例如模型信息可以包括终端IP、终端OID、网络端口以及SNMP凭证。

采集服务器获取各终端的模型信息后，开始对各个终端进行流量采集；对应地，进程根据各终端的模型信息，指示各线程执行流量采集。本次采集结束后，将采集的结果存入至内存结构。采集结果包括本次采集的开始时刻、流量瞬时值、Delta值和上次采集的开始时刻、上次采集完成后的流量累计值。

本发明实施例通过建立多个进程，每个进程下设置多个线程，实现并发采集多个终端的网络流量，从而显著提高了流量采集的精确度。

应当理解的是，本发明实施例是用于执行上述各方法实施例的，其具体流程和步骤请参照上述实施例，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

举个例子如下：

图3示例了一种服务器的实体结构示意图，如图3所示，该服务器可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：创建多个进程，每个进程包括多个线程，每个进程与且只与一个采集列表对应，采集列表包括各终端的模型信息；通过进程获取对应的采集列表，以采集各终端的网络流量，采集完成后将采集结果存入至内存结构。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的网络流量精确采集方法，例如包括：创建多个进程，每个进程包括多个线程，每个进程与且只与一个采集列表对应，采集列表包括各终端的模型信息；通过进程获取对应的采集列表，以采集各终端的网络流量，采集完成后将采集结果存入至内存结构。

另外，本领域内的技术人员应当理解的是，在本发明的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而应当理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种网络流量精确采集方法，其特征在于，包括：

创建多个进程，每个所述进程包括多个线程，每个进程与且只与一个采集列表对应，所述采集列表包括各终端的模型信息；

通过所述进程获取对应的所述采集列表，以采集所述各终端的网络流量，采集完成后将采集结果存入至内存结构；

其中，对于任意一个终端，若当前采集所述终端的网络流量的时长大于第二预设时长，则视为对于所述终端的采集失败，并更新所述采集失败的计数。

2.根据权利要求1所述的方法，其特征在于，所述多个线程中包括一个主线程，所述主线程在创建进程时同时创建；

相应地，所述通过所述进程获取对应的所述采集列表，以采集所述各终端的网络流量，包括：

记录每个线程获取对应的采集列表的耗时；

若所有线程的耗时均小于第一预设时长，则在达到第一预设时长时结束主线程；

若达到第一预设时长时仍然存在未采集完成的线程，则等待所述线程采集完成后结束主线程。

3.根据权利要求1所述的方法，其特征在于，所述，包括：

若所述终端的采集失败的情况未连续发生，则将所述采集失败的计数归零；

若所述终端的采集失败的情况连续发生，则根据连续发生的次数增加所述采集失败的计数，若所述采集失败的计数大于第一阈值，则将所述终端加入异常采集列表。

4.根据权利要求1所述的方法，其特征在于，所述通过所述进程获取对应的所述采集列表，以采集所述各终端的网络流量，还包括：

若规定时间内，采集终端失败的次数大于第二预设阈值，则将所述终端标记为失败设备并进行上报。

5.根据权利要求1所述的方法，其特征在于，所述采集结果包括：本次采集的开始时刻、流量瞬时值、Delta值和上次采集的开始时刻、上次采集完成后的流量累计值。

6.根据权利要求1所述的方法，其特征在于，所述模型信息包括：终端IP、终端OID、网络端口以及SNMP凭证。

7.一种网络流量精确采集装置，其特征在于，包括：

获取模块，用于创建多个进程，每个所述进程包括多个线程，每个进程与且只与一个采集列表对应，所述采集列表包括各终端的模型信息；

采集模块，用于通过所述进程获取对应的所述采集列表，以采集所述各终端的网络流量，采集完成后将采集结果存入至内存结构；

其中，对于任意一个终端，若当前采集所述终端的网络流量的时长大于第二预设时长，则视为对于所述终端的采集失败，并更新所述采集失败的计数。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述网络流量精确采集方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述网络流量精确采集方法的步骤。

Images