CN109660384A - 一种多维度网络数据统计方法及系统 - Google Patents

Abstract

本发明公开了一种多维度网络数据统计方法及系统，涉及数据统计技术领域，该方法包括以下步骤：统计方法包括以下步骤：预设多个网络数据特征项，各网络数据特征项至少包括：网络流量信息、网络协议信息、网络终端信息以及网页访问信息；获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各网络数据特征项对应的数据特征统计项；根据各数据特征统计项制作数据特征统计图。本发明根据各数据特征统计项制作数据特征统计图，从而能够对数据进行量化分析，直观的对待测流量数据的数据分析结果直观的观察。

Description

一种多维度网络数据统计方法及系统

技术领域

本发明涉及数据统计技术领域，具体涉及一种多维度网络数据统计方法及系统。

背景技术

目前针对网络流量分析的研究在数据统计技术领域属于热门项目，但现阶段的网络流量分析多基于某一个单一维度，如对网络协议的分析、对网络流量的统计分析、对上层应用的分析等；

目前对网络流量分析的方法较多，如利用网络协议特征的协议分析，基于包内容的深度包检测进行协议识别等，但都只能分析到网络流量的某个方面，无法给出某个网络环境的网络流量全貌；

同时由于网络中包含大量的信息，有大量的连接和多种不同的网络协议，各种解析后的信息基本都为离散型的，无法对网络流量进行相关量化分析；

因此，急需一种多维度网络数据统计方法，来解决上述问题。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种多维度网络数据统计方法，根据各数据特征统计项制作数据特征统计图，从而能够对数据进行量化分析，直观的对待测流量数据的数据分析结果直观的观察。

为达到以上目的，本发明采取的技术方案是：

第一方面，本发明提供一种多维度网络数据统计方法，所述统计方法包括以下步骤：

预设多个网络数据特征项，各所述网络数据特征项至少包括：网络流量信息、网络协议信息、网络终端信息以及网页访问信息；

获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各所述网络数据特征项对应的数据特征统计项；

根据各所述数据特征统计项制作数据特征统计图。

在上述技术方案的基础上，各所述网络数据特征项至少包括一个网络数据特征子项；

各所述数据特征统计项至少包括一个数据特征统计子项；

各所述网络数据特征项的各所述网络数据特征子项与各所述数据特征统计子项对应。

在上述技术方案的基础上，所述依次对各网络数据特征项进行统计，获取与各所述网络数据特征项对应的数据特征统计项中，具体包括以下步骤：

获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各所述网络数据特征项中的所述网络数据特征子项对应的数据特征统计子项。

在上述技术方案的基础上，所述网络流量信息至少包括：流量大小、流量速率、上行流量大小、下行流量大小、上行流量速率、下行流量速率、流量速率最大值。

在上述技术方案的基础上，所述网络协议信息至少包括网络层协议信息、传输层协议信息以及应用层协议信息。

在上述技术方案的基础上，所述网络终端信息用于标记终端设备的设备种类，所述设备种类至少包括：Linux设备、Android设备、Windows设备、IOS设备以及未知设备。

在上述技术方案的基础上，所述网页访问信息包括网页种类标记信息，所述网页种类标记信息标记访问网页的网页种类，所述网页种类至少包括It网站、门户网站、电子商务、新闻资讯、社区交友、游戏服务、营销服务、休闲娱乐、搜索服务、生活服务、金融服务、公司厂商、网上招聘、电子邮箱、教育服务、在线视频、旅行服务、论坛、媒体首页和其他网站。

第二方面，本发明还提供一种多维度网络数据统计系统，该系统包括：

网络数据特征项设定单元，其用于预设多个网络数据特征项，各所述网络数据特征项至少包括：网络流量信息、网络协议信息、网络终端信息以及网页访问信息；

流量数据统计单元，其用于获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各所述网络数据特征项对应的数据特征统计项；

数据特征统计图绘制单元，其用于根据各所述数据特征统计项制作数据特征统计图。

各所述网络数据特征项至少包括一个网络数据特征子项；

各所述数据特征统计项至少包括一个数据特征统计子项；

各所述网络数据特征项的各所述网络数据特征子项与各所述数据特征统计子项对应。

在上述技术方案的基础上，该系统还包括流量数据统计单元，其用于获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各所述网络数据特征项中的所述网络数据特征子项对应的数据特征统计子项。

与现有技术相比，本发明的优点在于：

本发明根据各数据特征统计项制作数据特征统计图，从而能够对数据进行量化分析，直观的对待测流量数据的数据分析结果直观的观察。

附图说明

图1为本发明实施例一提供的一种多维度网络数据统计方法的步骤流程图；

图2为本发明实施例二提供的一种多维度网络数据统计系统的结构框图；

图中：1、网络数据特征项设定单元；2、流量数据统计单元；3、数据特征统计图绘制单元；4、流量数据统计单元。

具体实施方式

以下结合附图对本发明的实施例作进一步详细说明。

本发明实施例提供一种多维度网络数据统计方法及系统，根据各数据特征统计项制作数据特征统计图，从而能够对数据进行量化分析，直观的对待测流量数据的数据分析结果直观的观察。

为达到上述技术效果，本申请的总体思路如下：

一种多维度网络数据统计方法，统计方法包括以下步骤：

S1、预设多个网络数据特征项，各网络数据特征项至少包括：网络流量信息、网络协议信息、网络终端信息以及网页访问信息；

S2、获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各网络数据特征项对应的数据特征统计项；

S3、根据各数据特征统计项制作数据特征统计图。

实施例一

参见图1所示，本发明实施例提供一种多维度网络数据统计方法，统计方法包括以下步骤：

S1、预设多个网络数据特征项，各网络数据特征项至少包括：网络流量信息、网络协议信息、网络终端信息以及网页访问信息；

S2、获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各网络数据特征项对应的数据特征统计项；

S3、根据各数据特征统计项制作数据特征统计图。

本发明实施例中，各网络数据特征项主要是流量数据的一系列参数，诸如用于表示网络流量、上行状况以及下行状况的网络流量信息，用于表示该流量数据所用协议的网络协议信息，用于表示该流量数据来源终端设备的网络终端信息，用于表示该流量数据所对应的访问网站的网页访问信息，其中网页访问信息具体至少包括该流量数据对应的访问网站的网址以及该访问网站的网站类型；

获取待测流量数据后，提取该待测流量数据中的各网络数据特征项，从而针对各网络数据特征项的数据情况进行统计，进而获得统计结果，即获取与各网络数据特征项对应的数据特征统计项；

最后将数据特征统计项进行可视化处理，即根据各数据特征统计项制作数据特征统计图，而数据特征统计图可以选定为多个柱状图或曲线图，必要时也可制作为表格形式的表格图，从而能够对数据进行量化分析，直观的对待测流量数据的数据分析结果直观的观察。

本发明实施例中，各网络数据特征项至少包括一个网络数据特征子项；

各数据特征统计项至少包括一个数据特征统计子项；

各网络数据特征项的各网络数据特征子项与各数据特征统计子项对应；

即一个网络数据特征项可以不仅仅只有一个网络数据特征子项，而对应的数据特征统计项也不仅仅只有一个数据特征统计子项，从而能够更全面、更细致的了解待测流量数据的具体情况。

本发明实施例中，依次对各网络数据特征项进行统计，获取与各网络数据特征项对应的数据特征统计项中，具体包括以下步骤：

获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各网络数据特征项中的网络数据特征子项对应的数据特征统计子项。

本发明实施例中，网络流量信息至少包括：流量大小、流量速率、上行流量大小、下行流量大小、上行流量速率、下行流量速率、流量速率最大值；

网络流量信息即一种网络数据特征项，而流量大小、流量速率、上行流量大小、下行流量大小、上行流量速率、下行流量速率、流量速率最大值则为网络数据特征子项，此时，流量大小、流量速率、上行流量大小、下行流量大小、上行流量速率、下行流量速率、流量速率最大值的数据统计结果则为各数据特征统计子项。

需要说明的是，针对网络流量信息，可以对待测流量数据的流量包解析后进行计算即可获得，具体获取方法，以流量采集解析工具Bro为例，对流量包进行解析，所有流特征如附件conn.log所示，具有连接的时间戳、源和目标的流量大小，负载等字段，计算流量大小、上下行流量大小等对相关连接的流量大小进行求和，对速率的计算以某个时间切片为单位(如1秒)，计算该切片时间内的流量速率，获取流量速率的分布，即可获取最小值、最大值和中位数等统计信息。

本发明实施例中，网络协议信息至少包括网络层协议信息、传输层协议信息以及应用层协议信息；

此处网络协议信息同样为一种网络数据特征项，而网络层协议信息、传输层协议信息以及应用层协议信息则为网络数据特征子项，此时，网络层协议信息的统计结果为网络层协议统计种类，传输层协议信息的统计结果为传输层协议统计种类，而应用层协议信息的统计结果为应用层协议统计种类，即网络层协议统计种类、传输层协议统计种类以及应用层协议统计种类则为数据特征统计子项。

需要说明的是，网络协议信息主要通过一般协议解析工具，对待测流量数据进行解析，获取各协议相关信息，对各协议相关信息进行统计计算获得；具体获取方法同“网络流量统计信息包含的特征字段”获取方法类似，具体解析的文件同样以bro解析工具为例，以协议http为例，具体结果可以见分析得到的附件http.log。

本发明实施例中，网络终端信息用于标记终端设备的设备种类，设备种类至少包括：Linux设备、Android设备、Windows设备、IOS设备以及未知设备；

而网络终端信息这一项网络数据特征项则具体用于表明该待测流量数据的源头是何类型的终端设备。

需要说明的是，不同的终端设备识别主要通过http协议种user-agent进行关键字匹配获取，以ip为单位进行计数。各操作系统识别所用关键字如下：

windows包括：Windows NT 6.1、Windows NT 10.0、Windows 98、Windows NT 6.2、Windows NT 5.1、Windows NT 5.00、Windows NT 6.0、Windows NT 6.3、Windows NT 5.0、Windows NT 5.2、Windows NT 6.1WOW64、Windows NT5.1和Windows，采用最长匹配原则；

ios包括关键字有：iPhone 10_2_1、iPhone 7_1_1、iPhone 6_0、iPhone 10_0_2、iPhone 9_0_2、iPad 10_2_1、iPad 10_3_2、Mac、iPhone 8_1_2、iPad 8_3等104个。android关键字除了android系统相关关键字，还包含部分设备类型信息，如：M5s，MI 5s，vivo Y67，vivo X7，HUAWEI TIT-AL00、Le X822、HUAWEI P7-L07、SAMSUNG SM-C7000、Redmi 4、OPPOR9s、MX6、Coolpad Y1、ZTEU807等，共1059个；

其中由于android属于linux系统，因此约定android具体设备优先级大于android系统，android系统大于linux。

本发明实施例中，网页访问信息包括网页种类标记信息，网页种类标记信息标记访问网页的网页种类，网页种类至少包括It网站、门户网站、电子商务、新闻资讯、社区交友、游戏服务、营销服务、休闲娱乐、搜索服务、生活服务、金融服务、公司厂商、网上招聘、电子邮箱、教育服务、在线视频、旅行服务、论坛、媒体首页和其他网站；

需要说明的是，网页访问信息中的网页种类标记信息用于标记该流量数据访问网页的网页种类；

另外，该统计方法还包括网站分类步骤，预设多个网站种类，从而根据页面访问信息获得网页种类标记信息，从而标记访问页面的网页种类。

进一步的，网页访问信息中还可以包括访问站点的总数，访问站点类的总数，访问总时长，各ip访问站点数的均值、最大值，各ip访问站点数所属类别的均值、最大值，各ip访问站点时长的均值和最大值，一共包含9个特征；

获取网页访问信息，具体可以是通过http协议的host字段同web信息库进行匹配完成，网站的访问时间根据该http协议的TCP连接的连接时长确定。

基于同一发明构思，本申请提供了实施例一对应的多维度网络数据统计系统的实施例，详见实施例二

实施例二

如图2所示，本发明第二实施例提供了一种多维度网络数据统计系统，该系统包括：

网络数据特征项设定单元1，其用于预设多个网络数据特征项，各网络数据特征项至少包括：网络流量信息、网络协议信息、网络终端信息以及网页访问信息；

流量数据统计单元2，其用于获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各网络数据特征项对应的数据特征统计项；

数据特征统计图绘制单元3，其用于根据各数据特征统计项制作数据特征统计图。

本发明实施例中，各网络数据特征项主要是流量数据的一系列参数，诸如用于表示网络流量、上行状况以及下行状况的网络流量信息，用于表示该流量数据所用协议的网络协议信息，用于表示该流量数据来源终端设备的网络终端信息，用于表示该流量数据所对应的访问网站的网页访问信息，其中网页访问信息具体至少包括该流量数据对应的访问网站的网址以及该访问网站的网站类型；

获取待测流量数据后，提取该待测流量数据中的各网络数据特征项，从而针对各网络数据特征项的数据情况进行统计，进而获得统计结果，即获取与各网络数据特征项对应的数据特征统计项；

最后将数据特征统计项进行可视化处理，即根据各数据特征统计项制作数据特征统计图，而数据特征统计图可以选定为多个柱状图或曲线图，必要时也可制作为表格形式的表格图，从而能够对数据进行量化分析，直观的对待测流量数据的数据分析结果直观的观察。

本发明实施例中，各网络数据特征项至少包括一个网络数据特征子项；

各数据特征统计项至少包括一个数据特征统计子项；

各网络数据特征项的各网络数据特征子项与各数据特征统计子项对应；

即一个网络数据特征项可以不仅仅只有一个网络数据特征子项，而对应的数据特征统计项也不仅仅只有一个数据特征统计子项，从而能够更全面、更细致的了解待测流量数据的具体情况。

本发明实施例中，依次对各网络数据特征项进行统计，获取与各网络数据特征项对应的数据特征统计项中，具体包括以下步骤：

获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各网络数据特征项中的网络数据特征子项对应的数据特征统计子项。

本发明实施例中，网络流量信息至少包括：流量大小、流量速率、上行流量大小、下行流量大小、上行流量速率、下行流量速率、流量速率最大值；

网络流量信息即一种网络数据特征项，而流量大小、流量速率、上行流量大小、下行流量大小、上行流量速率、下行流量速率、流量速率最大值则为网络数据特征子项，此时，流量大小、流量速率、上行流量大小、下行流量大小、上行流量速率、下行流量速率、流量速率最大值的数据统计结果则为各数据特征统计子项。

本发明实施例中，网络协议信息至少包括网络层协议信息、传输层协议信息以及应用层协议信息；

此处网络协议信息同样为一种网络数据特征项，而网络层协议信息、传输层协议信息以及应用层协议信息则为网络数据特征子项，此时，网络层协议信息的统计结果为网络层协议统计种类，传输层协议信息的统计结果为传输层协议统计种类，而应用层协议信息的统计结果为应用层协议统计种类，即网络层协议统计种类、传输层协议统计种类以及应用层协议统计种类则为数据特征统计子项。

本发明实施例中，网络终端信息用于标记终端设备的设备种类，设备种类至少包括：Linux设备、Android设备、Windows设备、IOS设备以及未知设备；

而网络终端信息这一项网络数据特征项则具体用于表明该待测流量数据的源头是何类型的终端设备。

本发明实施例中，网页访问信息包括网页种类标记信息，网页种类标记信息标记访问网页的网页种类，网页种类至少包括It网站、门户网站、电子商务、新闻资讯、社区交友、游戏服务、营销服务、休闲娱乐、搜索服务、生活服务、金融服务、公司厂商、网上招聘、电子邮箱、教育服务、在线视频、旅行服务、论坛、媒体首页和其他网站；

需要说明的是，网页访问信息中的网页种类标记信息用于标记该流量数据访问网页的网页种类；

需要说明的是，该统计系统还包括网站分类工作步骤，预设多个网站种类，从而根据页面访问信息获得网页种类标记信息，从而标记访问页面的网页种类。

需要说明的是，该系统还包括流量数据统计单元4，其用于获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各网络数据特征项中的网络数据特征子项对应的数据特征统计子项。

基于同一发明构思，本申请提供了实施例一对应的存储介质的实施例，详见实施例三

实施例三

本发明第三实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现第一实施例中的所有方法步骤或部分方法步骤。

本发明实现上述第一实施例中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

基于同一发明构思，本申请提供了实施例一对应的电子设备的实施例，详见实施例四

实施例四

本发明第四实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现第一实施例中的所有方法步骤或部分方法步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种多维度网络数据统计方法，其特征在于，所述统计方法包括以下步骤：

预设多个网络数据特征项，各所述网络数据特征项至少包括：网络流量信息、网络协议信息、网络终端信息以及网页访问信息；

获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各所述网络数据特征项对应的数据特征统计项；

根据各所述数据特征统计项制作数据特征统计图。

2.如权利要求1所述的方法，其特征在于：

各所述网络数据特征项至少包括一个网络数据特征子项；

各所述数据特征统计项至少包括一个数据特征统计子项；

各所述网络数据特征项的各所述网络数据特征子项与各所述数据特征统计子项对应。

3.如权利要求2所述的方法，其特征在于，所述依次对各网络数据特征项进行统计，获取与各所述网络数据特征项对应的数据特征统计项中，具体包括以下步骤：

获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各所述网络数据特征项中的所述网络数据特征子项对应的数据特征统计子项。

4.如权利要求1所述的方法，其特征在于，所述网络流量信息至少包括：流量大小、流量速率、上行流量大小、下行流量大小、上行流量速率、下行流量速率、流量速率最大值。

5.如权利要求1所述的方法，其特征在于，所述网络协议信息至少包括网络层协议信息、传输层协议信息以及应用层协议信息。

6.如权利要求1所述的方法，其特征在于，所述网络终端信息用于标记终端设备的设备种类，所述设备种类至少包括：Linux设备、Android设备、Windows设备、IOS设备以及未知设备。

7.如权利要求1所述的方法，其特征在于，所述网页访问信息包括网页种类标记信息，所述网页种类标记信息标记访问网页的网页种类，所述网页种类至少包括It网站、门户网站、电子商务、新闻资讯、社区交友、游戏服务、营销服务、休闲娱乐、搜索服务、生活服务、金融服务、公司厂商、网上招聘、电子邮箱、教育服务、在线视频、旅行服务、论坛和媒体首页。

8.一种多维度网络数据统计系统，其特征在于，所述统计系统包括：

网络数据特征项设定单元，其用于预设多个网络数据特征项，各所述网络数据特征项至少包括：网络流量信息、网络协议信息、网络终端信息以及网页访问信息；

流量数据统计单元，其用于获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各所述网络数据特征项对应的数据特征统计项；

数据特征统计图绘制单元，其用于根据各所述数据特征统计项制作数据特征统计图。

9.如权利要求8所述的系统，其特征在于：

各所述网络数据特征项至少包括一个网络数据特征子项；

各所述数据特征统计项至少包括一个数据特征统计子项；

各所述网络数据特征项的各所述网络数据特征子项与各所述数据特征统计子项对应。

10.如权利要求9所述的系统，其特征在于：

流量数据统计单元，其用于获取待测流量数据，依次针对各网络数据特征项进行统计，获取与各所述网络数据特征项中的所述网络数据特征子项对应的数据特征统计子项。