CN110365551B - 网络信息采集方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种网络信息采集方法、装置、电子设备及存储介质，涉及通信技术领域，用于解决现有硬件加速模式下收集到的网络信息不完整，硬件加速模式关闭时网速降低的问题，该方法包括以下步骤：错峰采集网络数据，称为第一网络数据；统计并上报所述的第一网络数据。本发明还公开了一种网络信息采集装置、电子设备及计算机存储介质。本发明通过错峰按需收集网络数据，使收集到的网络信息可以进行完整的网络威胁分析及安全防护，且不影响网速。

Description

网络信息采集方法、装置、设备及介质

技术领域

本发明涉及通信技术领域，尤其涉及一种网络信息采集方法、装置、设备及介质。

背景技术

随着通信技术的发展，网络安全变得越来越重要，为了在现有企业网络中增加安全能力，目前主要通过三种方法增加网络安全性：

第一种方法是在电脑和设备终端增加杀毒软件、防火墙软件、管理终端，实施信息和软件的严格管控，但是这种方法用户体验不好，用于安全防护的软件会经常性提醒和阻断用户的操作，让用户来判断结果，且会接触用户隐私数据，使企业数据存在泄露的风险。

第二种方法是在办公网络配置完整或者比较多的防入侵、杀毒设备、专业邮件服务器等，但是其资金投入大，且需要专业人员和专业的分析设备来分析安全数据，存在一定程度上的延迟处理特性。

第三种方法是在网络枢纽上部署大型分析设备和安全设备，主要由运营商提供，但是其资金投入巨大，需要巨大的存储和计算能力来分析区域内所有网络数据，运维成本极高，目前只有少量的上网数据分析，用于运营商安全责任要求和网络安全保障。

综上所述，现有技术在网络配置或网络枢纽上进行安全防护成本高，而设备终端上安装的安全防护软件用户体验又比较差。

因此，为了提高用户体验及降低网络安全防护成本，有人提出了通过调制解调器或网关自带的信息收集功能收集网络信息，并将收集到的网络信息通过上报云端分析平台进行网络安全防护的方法。

调制解调器或网关通常使用的操作系统内核是OpenWrt，OpenWrt可以被描述为一个嵌入式的Linux发行版，在其中预设的驱动程序具备对所有经过上下行的数据进行统计和采集的基础功能，其会定期统计并上报所有上下行数据，但是开启统计和采集功能后则占用CPU、内存资源较高，导致调制解调器或网关本身转发网络数据性能下降，从而使网速下降，当不进行网络安全防护时，这些采集和统计的数据通常情况下没有使用价值，因此，默认关闭此项功能，即开启硬件加速模式，以提高网络数据转发性能，默认设置为开启硬件加速，但是，硬件加速模式下收集到的网络信息不完整，无法进行完整的网络威胁分析及安全防护。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种网络信息采集方法，其通过错峰收集网络数据，进而减少收集网络数据时对CPU、内存资源的占用。

本发明的目的之一采用以下技术方案实现：

一种网络信息采集方法，包括以下步骤：

错峰采集网络数据，称为第一网络数据；

统计并上报所述的第一网络数据。

进一步地，在硬件加速模式下实时采集的网络数据，称为第二网络数据，所述的第一网络数据与所述第二网络数据组成预设的网络数据；

在硬件加速模式关闭时实时采集的网络数据称为第三网络数据，所述第一网络数据和第二网络数据均为第三网络数据中的一部分。

进一步地，在硬件加速模式下，所述第一网络数据通过第一驱动逻辑节点获取，所述的第二网络数据通过第二驱动逻辑节点获取。

进一步地，所述的第一驱动逻辑节点与所述的第二驱动逻辑节点为网络驱动执行的逻辑节点。

进一步地，所述硬件持续工作在加速模式下。

进一步地，在硬件加速模式关闭时：

所述第一网络数据通过第一驱动逻辑节点获取，所述的第三网络数据通过第二驱动逻辑节点获取；

或者关闭所述第一驱动逻辑节点，所述第一网络数据和第三网络数据均通过第二驱动逻辑节点获取。

进一步地，所述第一网络数据的收集过程，包括以下步骤：

根据收集到的数据包进行分析，筛选符合第一网络数据的数据包头信息；

提取数据包头信息；

根据所述数据包头信息错峰统计并上报所述的第一网络数据。

本发明的目的之二在于提供一种网络信息采集装置，其通过错峰收集网络数据，进而减少收集网络数据时对CPU、内存资源的占用。

本发明的目的之二采用以下技术方案实现：

一种网络信息采集装置，其特征在于，其包括：

获取模块，错峰采集所需的网络数据，称为第一网络数据；

上报模块，统计并上报所述的第一网络数据。

本发明的目的之三在于提供执行发明目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现上述的网络信息采集方法。

本发明的目的之四在于提供存储发明目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的网络信息采集方法。

相比现有技术，本发明的有益效果在于：

本发明通过对网络数据进行错峰采集，从而减少网络信息采集时对CPU、内存资源的占用率，可防止调制解调器或网关本身转发网络数据性能下降，在不增加硬件并保证不降低流量吞吐量的情况下，通过改造网络驱动执行的策略，避开调制解调器或网关流量高峰期，错峰进行数据采集，即使在硬件加速模式下也能收集到网络威胁分析及安全防护需要的网络数据。

附图说明

图1是实施例一的操作系统开发流程图；

图2是实施例一网络驱动程序在硬件加速模式下的原理图；

图3是实施例一网络驱动程序在硬件加速模式关闭下的原理图；

图4是实施例一的网络信息采集方法流程图；

图5是实施例二网络驱动程序的原理图；

图6是实施例三第一网络数据收集的流程图；

图7是实施例四网络信息采集装置的结构框图；

图8是实施例五的电子设备的结构框图。

具体实施方式

以下将结合附图，对本发明进行更为详细的描述，需要说明的是，以下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。

实施例一

实施例一提供了一种网络信息采集方法，旨在通过对网络数据进行错峰采集，即延迟采集预设的网络数据，进而得到所需网络数据，通过这种方式，能够在不影响网速的情况下收集到完整的网络数据。

请参照图1所示，在调制解调器或者网关的操作系统开发过程，都必需经过以下的开发过程：

1.创建Linux交叉编译环境；2.建立Bootloader；3.移植Linux内核；4.建立Root-FS(根文件系统)；5.安装驱动程序；6.安装及加载软件。

其中网络信息的获取主要在第五步的网络驱动程序中。

请参照图2所示，预设网络信息通过驱动程序中的逻辑驱动节点A获取，在硬件加速开启时，获取的网络信息较少，但是下载速度很高。

请参照图3所示，预设网络信息通过驱动程序中的逻辑驱动节点A获取，在硬件加速关闭时，获取的网络信息较多，但是下载速度很低，大概为硬件加速开启时的一半。

根据上述原理，在调制解调器或者网关原本的收集功能基础上，由于网络驱动是定期获取并上报网络数据，因此会有高峰与低峰期，通过错峰延迟采集网络数据，进而在硬件加速的情况下增加获得的网络数据，从而使获得的网络数据可以实现完整的网络威胁分析及安全防护，由于是按需采集网络数据而非所有数据，因此此功能占用资源很小，可以实现不降低网速的情况下，采集到完整的网络威胁分析及安全防护所需数据。

请参照图4所示，一种网络信息采集方法，包括以下步骤：

错峰采集网络数据，称为第一网络数据，通常通过延迟采集以避开网络终端流量高峰期完成错峰采集；

统计并上报所述的第一网络数据。

第一网络数据可以根据实际需求即需要的网络信息进行预设。

通常情况下，在硬件加速模式下实时采集的网络数据，称为第二网络数据，所述的第一网络数据与所述第二网络数据组成预设的网络数据；

在硬件加速模式关闭时实时采集的网络数据称为第三网络数据，所述第一网络数据和第二网络数据均为第三网络数据中的一部分，优选第一网络数据和第二网络数据不存在重叠。

通过重新制作Http模块驱动程序，即加入了错峰采集网络数据功能的网络驱动程序，发布定制版OpenWrt版本系统，来达到不改动硬件的情况下增加获取网络信息的能力。

实施例二

实施例二是在实施例一基础上进行的改进，其主要对驱动程序的改进进行说明。

通常情况下，网络驱动程序在硬件加速模式下，第一网络数据通过第一驱动逻辑节点获取，第二网络数据通过第二驱动逻辑节点获取。所述的第一驱动逻辑节点与所述的第二驱动逻辑节点为网络驱动执行的逻辑节点。

请参照图5所示，第二逻辑驱动节点为图中的逻辑驱动节点A，以下简称A点，第一逻辑驱动节点为图中的逻辑驱动节点B，以下简称B点；A点功能在调制解调器或网关上负责统计数据，是大部分调制解调器或网关基础要求，B点是新增的功能点，按需的(并非所有数据)、异步的进行统计，占用资源很小。

其中，在关闭硬件加速时，A点可以获取庞大的日志，网络数据就是这些日志的一部分，但是这种情况下，需要牺牲上传或下载速度；而在开启硬件加速下(默认设置，提升CPU效率以忽略不重要的统计信息)可以提升上传或下载速度，但A点获取信息不完整，这些不重要的统计信息中有一部分是进行网络威胁分析及安全防护需要网络数据，因此增加B点，只补充采集需要的数据(这里需要的数据是指在开启硬件加速情况下，A点忽略的用于网络威胁分析及安全防护的网络数据)，减少计算资源损耗。

进一步地，当网络驱动的硬件加速模式关闭时：所述第一网络数据通过第一驱动逻辑节点获取，所述的第三网络数据通过第二驱动逻辑节点获取；或者关闭所述第一驱动逻辑节点，所述第一网络数据和第三网络数据均通过第二驱动逻辑节点获取，在硬件加速模式关闭时，第一驱动逻辑节点也可继续工作或停止工作，可进一步地完善获取的网络数据，错峰采集也不会对调制解调器或者网关的流量吞吐量造成影响。

因此，通常情况下通过在网络驱动程序中增加一个驱动逻辑点但并不限于此方法，只负责按需错峰采集预设的网络数据，使保证网速的情况下收集到预设、所需的网络数据。

作为一种优选的实施方式，硬件(也可以称为终端)持续工作在硬件加速模式下，这种情况下，A点采集第二网络数据，而B点采集第一网络数据，通过第一网络数据和第二网络数据的结合，可以实现网络威胁的分析和安全防护，而上传或下载速度基本接近于不设置B点且处于硬件加速开启模式下的速度。

实施例三

实施例三是在实施例一或/和实施例二的基础上进行的，其主要对第一网络数据的收集过程进行说明。

请参照图6所示，第一网络数据的错峰收集过程，包括以下步骤：

根据收集到的数据包进行分析，筛选符合第一网络数据的数据包头信息；

提取数据包头信息；

根据所述数据包头信息错峰统计并上报所述的第一网络数据。

第二网络数据由网络驱动程序实时采集，第一网络数据与第二网络数据的合集组成预设的网络数据。

收集网络数据时，对收集到的数据包进行预处理从而筛选出所需的网络数据，只提取筛选出数据包的包头，错峰统计包头信息并上报网络数据，即延迟统计包头信息。

预先筛选出所需网络数据使得提取包头信息时无需对整个数据包进行提取，减少了对资源的占有率；错峰统计并上报又进一步地减少了资源的占有率，对调制解调器或者网关的流量吞吐率几乎没有影响。

以上描述的第一网络数据收集过程为硬件加速模式下的收集过程，硬件加速模式关闭时，可以以相同方式收集第一网络数据，也可以不收集第一网络数据，只收集此模式下实时采集的第三网络数据。

实施例四

实施例四公开了一种对应上述实施例的网络信息采集方法对应的装置，为上述实施例的虚拟装置结构，请参照图7所示，包括：

获取模块110，错峰采集所需的网络数据，称为第一网络数据；

上报模块120，统计并上报所述的第一网络数据。

优选地，在硬件加速模式下实时采集的网络数据，称为第二网络数据，所述的第一网络数据与所述第二网络数据组成预设的网络数据；

在硬件加速模式关闭时实时采集的网络数据称为第三网络数据，所述第一网络数据和第二网络数据均为第三网络数据中的一部分。

优选地，在硬件加速模式下，所述第一网络数据通过第一驱动逻辑节点获取，所述的第二网络数据通过第二驱动逻辑节点获取。

优选地，在硬件加速模式关闭时：

所述第一网络数据通过第一驱动逻辑节点获取，所述的第三网络数据通过第二驱动逻辑节点获取；

或者关闭所述第一驱动逻辑节点，所述第一网络数据和第三网络数据均通过第二驱动逻辑节点获取。

其中，所述的第二网络数据通过第二驱动逻辑节点获取。

优选地，所述第一网络数据的收集过程，包括以下步骤：

根据收集到的数据包进行分析，筛选符合第一网络数据的数据包头信息；

提取数据包头信息；

根据所述数据包头信息错峰统计并上报所述的第一网络数据。

实施例五

图8为本发明实施例五提供的一种电子设备的结构示意图，如图8所示，该电子设备包括处理器210、存储器220、输入装置230和输出装置240；计算机设备中处理器210的数量可以是一个或多个，图8中以一个处理器210为例；电子设备中的处理器210、存储器220、输入装置230和输出装置240可以通过总线或其他方式连接，图8中以通过总线连接为例。

存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的物联网平台参数转换方法对应的程序指令/模块(例如，网络信息采集装置中的获取模块110、上报模块120)。处理器210通过运行存储在存储器220中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述实施例一至实施例三的网络信息采集方法。

存储器220可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器220可进一步包括相对于处理器210远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置230可用于输入身份信息、定义预设的网络数据等。输出装置240可包括显示屏等显示设备。

实施例六

本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行网络信息采集方法，该方法包括：

错峰采集网络数据，称为第一网络数据；

统计并上报所述的第一网络数据。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于网络信息采集方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述基于网络信息采集装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (8)

1.一种网络信息采集方法，其特征在于，包括以下步骤：

错峰采集网络数据，称为第一网络数据，在硬件加速模式下实时采集网络数据，采集到部分信息缺失的数据，所述数据称为第二网络数据，在硬件加速模式关闭时实时采集网络数据，采集到完整网络数据，所述数据称为第三网络数据；

设置网络驱动执行的逻辑节点，在硬件加速模式下，所述第一网络数据通过第一驱动逻辑节点获取，所述第二网络数据通过第二驱动逻辑节点获取；

统计并上报所述第一网络数据和第二网络数据。

2.如权利要求1所述的网络信息采集方法，其特征在于，

所述第一网络数据与所述第二网络数据组成预设的网络数据；

所述第一网络数据和所述第二网络数据均为所述第三网络数据中采集到的网络数据的一部分。

3.如权利要求1所述的网络信息采集方法，其特征在于，所述硬件持续工作在加速模式下。

4.如权利要求1所述的网络信息采集方法，其特征在于，在硬件加速模式关闭时：

所述第一网络数据通过第一驱动逻辑节点获取，所述第三网络数据通过第二驱动逻辑节点获取；

或者关闭所述第一驱动逻辑节点，所述第一网络数据和第三网络数据均通过第二驱动逻辑节点获取。

5.如权利要求1所述的网络信息采集方法，其特征在于，所述第一网络数据的收集过程，包括以下步骤：

根据收集到的数据包进行分析，筛选符合所述第一网络数据的数据包头信息；

提取数据包头信息；

根据所述数据包头信息错峰统计并上报所述的第一网络数据。

6.一种网络信息采集装置，其特征在于，其包括：

获取模块，错峰采集网络数据，称为第一网络数据，在硬件加速模式下实时采集网络数据，采集到部分信息缺失的数据，所述数据称为第二网络数据，在硬件加速模式关闭时实时采集网络数据，采集到完整网络数据，所述数据称为第三网络数据；

驱动逻辑节点模块，设置网络驱动执行的逻辑节点，在硬件加速模式下，所述第一网络数据通过第一驱动逻辑节点获取，所述第二网络数据通过第二驱动逻辑节点获取；

上报模块，统计并上报所述的第一网络数据和第二网络数据。

7.一种电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的网络信息采集方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述的网络信息采集方法。

Images