CN110912919B - 用于网络健康状况建模分析的网络数据采集方法 - Google Patents

Abstract

本发明公开了一种用于网络健康状况建模分析的网络数据采集方法，涉及网络健康分析技术领域，在硬件增加了控制主机，网络数据采集包括：通过wireshark从受控主机采集网络节点连接信息数据，并将其解析为json格式后存入数据库中；从受控主机采集网络节点状态信息数据，并将其解析为json格式后存入数据库中；从数据库中调取对应相同时间段和主机ip的json格式的网络节点连接信息和网络节点状态信息数据进行拼接后重新存入数据库中，供网络健康状况分析时调取。本发明网络改造成本低廉，其能够提供精准的网络数据支撑，方便后续使用机器学习的方法对网络数据进行建模分析。

Description

用于网络健康状况建模分析的网络数据采集方法

技术领域

本发明涉及网络健康分析技术领域，具体而言，涉及一种用于网络健康状况建模分析的网络数据采集方法。

背景技术

在互联网的使用过程中，我们经常会遭遇各种各样的网络问题，所以能够快速对网络问题溯源就显的十分重要。随着机器学习模型的不断改进，网络健康状况的分析建模也有了更多的思路。对网络健康状态的分析建模需要大量的数据作为支撑，而当前的网络状态数据多是基于连接进行分析的，如ids2012、ids2017、ids2018和kdd99。上述数据集对某一次攻击的持续时间、使用协议、平均流量进行了统计。然而不同的网络问题具有不同的表现模式。例如DDos攻击采用大量的半连接占用带宽和主机资源；0Day漏洞可能采用反序列化代码注入的方式获取主机控制权，攻击初始阶段主机使用率可能并不高，攻击开始阶段则会执行恶意脚本，大量占用主机资源；网络拥塞也会出现网络资源使用率上升，但是使用率的上升是一个相对较长的过程；网络硬件出现问题(如网线断开)则会出现某一网卡传输突然中断而主机资源使用情况正常；人为关机会出现网络传输突然中断。单纯的捕获网络连接数据不能很好的区分人为关机、网线断开和DDos等网络拥塞的情况。传统数据集在搜集时没有充分利用主机资源使用情况，使得后续的分析难度较高，而且精准性较差。

发明内容

本发明在于提供一种用于网络健康状况建模分析的网络数据采集方法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

第一方面，本发明提供了一种用于网络健康状况建模分析的网络数据采集方法，包括以下步骤：

S1、通过wireshark从受控主机采集包含有网络节点连接信息的第一网络数据包，并将其解析为json格式的数据包后存入数据库中；

S2、从受控主机采集包含有网络节点状态信息的第二网络数据包，并将其解析为json格式的数据包后存入数据库中；

S3、从数据库中调取json格式的第一网络数据包和json格式的第二网络数据包，并拼接为json格式的组合网络数据包，所调取的第一网络数据包和第二网络数据包所对应的捕获时间段和主机ip均相同；

S4、将组合网络数据包存入数据库中，供网络健康状况分析时调取。

本技术方案的技术效果是：将采集到的网络节点状态信息和网络节点连接信息拼接融合后存入数据库中供网络健康状况分析时调取，为网络健康状态的分析和判断提供数据支撑，方便后续使用机器学习的方法对网络数据进行建模分析。

可选地，所述步骤S2中，第二网络数据包通过ansible采集，其通过ssh与受控主机通信。

本技术方案的技术效果是：ansible可以在局域网内部批量执行命令，完成局域网内部节点的数据收集任务，不需要在受控主机上安装客户端，降低了网络改造的成本。

可选地，所述第一网络数据包是实时采集的，所述第二网络数据包每隔3S采集一次。

本技术方案的技术效果是：第一网络数据包通过利用端口转发或端口镜像功能，可以实现对数据的实时采集，对局域网造成的流量影响，以及对域内主机造成的计算负担可以忽略，而对于第二网络数据包，采用实时采集的方案会对域内主机的计算性能造成较大影响，本方案采用折衷的办法，每3S采集一次第二网络数据包，采集数据时，对网络和域内主机造成的影响尽可能低的同时，又能保证采集到的网络数据能满足网络健康状态分析的需要。

可选地，所述网络节点状态信息中的受控主机未关机时的状态判断方法包括以下步骤：

a1、ansible向受控主机发出指令，受控主机检查关机通知脚本是否存在，如若存在，则继续执行步骤a2，如若不存在，则ansible为受控主机配置关机通知脚本，再执行步骤a2；

a2、受控主机向ansible发送未关机返回结果，未关机返回结果包括受控主机的cpu资源使用情况、cpu使用率、内存总量、内存使用率、占用cpu最高的前十个进程信息、交换区总量和使用率；

a3、ansible在未关机返回结果中的alive字段中添加alive＝true后，将其以json格式存入数据库中；

所述网络节点状态信息中的受控主机在关机过程中的状态判断方法包括以下步骤：

b1、受控主机获取关机命令，触发关机通知脚本；

b2、受控主机向ansible发送关机返回结果，关机返回结果包括受控主机的内存总量、内存使用率、占用cpu最高的前十个进程信息、交换区总量和使用率；

b3、ansible在关机返回结果中的alive字段中添加alive＝false后，将其以json格式存入数据库中。

本技术方案的技术效果是：能够将人为关机与人为断网两种情景有效的区分开，提高了数据的准确性，降低数据调用时可能存在的误判率。

可选地，所述步骤S3是通过创建java项目，并使用fastjson工具从数据库中调取并拼接数据的，且调取数据时的查询条件为捕获时间段、目的主机ip和源主机ip。

本技术方案的技术效果是：Json格式数据的解析方法较多，例如GSON、jsckson、fastjson，但相比而言fastjson是其中最快的，也是最安全的，另外两种均在CVE报告中存在漏洞，选择fastjson可以最大程度地保证解析主机的安全性。

可选地，所述数据库为mongodb。

本技术方案的技术效果是：mongodb作为一种非关系型数据库，适合用来存储对象形式的数据，Json数据作为一种典型的对象形式的数据，使用mongodb可以很好地契合本方案的数据采集格式，其他关系型数据库需要对json格式数据进行拆解，不利于后续的数据检索和清洗工作。

第二方面，本发明提供了一种用于网络健康状况建模分析的网络数据采集系统，包括中间交换机、网关交换机、旁路监控机、受控主机和控制主机，控制主机与所述网关交换机通信连接，并安装有用于采集第二网络数据包的ansible，其与受控主机之间能够实现ssh免密登陆；

所述网关交换机具有端口镜像功能；

所述旁路监控机安装有wireshark和winpcap。

可选地，所述控制主机的软硬件需求包括：操作系统为Deepin 15.11，内存为15G，磁盘大小为400G，文件系统为EXT4，网卡为100M局域网卡，Linux内核为3.10。

本技术方案的技术效果是：提供了一种实现网络数据采集的系统，仅需增加一台即可，硬件改造成本低廉。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是实施例中所述网络数据采集方法的流程图；

图2是实施例中所述网络数据采集方法中的数据拼接流程图；

图3是实施例中所述网络数据采集方法中的数据拼接示意图；

图4是实施例中所述网络数据采集方法中的json对象融合图；

图5是实施例中受控主机是否关机的状态判断方法流程图，其中图5(a)是受控主机未关机时的状态判断方法，图5(b)是受控主机在关机过程中的状态判断方法流程图；

图6是实施例中网络数据采集系统对应的网络拓扑图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参照图1和图2，本实施例提供了一种用于网络健康状况建模分析的网络数据采集方法，包括以下步骤：

S1、通过wireshark从受控主机采集包含有网络节点连接信息的第一网络数据包，并将其解析为json格式的数据包后存入数据库中；

S2、从受控主机采集包含有网络节点状态信息的第二网络数据包，并将其解析为json格式的数据包后存入数据库中；

S3、从数据库中调取json格式的第一网络数据包和json格式的第二网络数据包，并拼接为json格式的组合网络数据包，所调取的第一网络数据包和第二网络数据包所对应的捕获时间段和主机ip均相同；

S4、将组合网络数据包存入数据库中，供网络健康状况分析时调取。

在本实施例中，wireshark为网络封包分析软件，它是撷取网络封包，并尽可能显示出最为详细的网络封包资料。

作为一种选择方式，本实施例中的数据库可选用mongodb。

作为一种选择方式，本实施例的步骤S3中，可通过创建java项目，并使用fastjson工具从数据库中调取并拼接数据，且调取数据时的查询条件为捕获时间段、目的主机ip和源主机ip。

作为一种选择方式，本实施例的步骤S2中，第二网络数据包可通过ansible采集，其通过ssh与受控主机通信。ansible属于一种自动化运维工具，常用于集群的配置管理和应用部署，在本实施利中负责定时下发命令并记录资源使用情况。Ansible的实现基于Paramiko模块，数据采用ssh方式传输，所以ansible也可以在局域网内部批量执行命令，完成局域网内部节点的数据收集任务，底层采用ssh通信的另外一个优点是不需要在受控主机上安装客户端，降低了网络改造的成本。最新的ansible添加了对windows系统的支持，只需要在系统服务中打开winrm服务即可将主机作为受控主机使用。

作为一种选择方式，本实施例中第一网络数据包可实时采集，第二网络数据包可每隔3S采集一次。

请参照图4，图中每一行分为两部分，为了便于表示，每一行中左边的部分表示通过wireshark解析出的json对象，右边部分表示通过ansible采集到的受控主机节点资源使用信息，通过时间关系对二者进行合并组成一个新的json对象。

请参照图3，假设局域网中只有两台主机A和B，A是ansible控制节点，B是ansible受控节点，A主机的某一数据包的捕获时间为20191025000000(yyyyMMddHHmmss)。ansible控制节点每三秒下发一次数据采集命令，20191025000003接收到受控主机的资源使用情况。那么00：00：00到00：00：03秒所有的json格式的数据包末尾都要加上受控节点在00：00：03这一时刻的资源使用情况。

实施例2

针对实施例1中的网络节点状态信息，本实施例提供了该信息中受控主机是否关机的状态判断方法。

请参照图5(a)，受控主机未关机时的状态判断方法包括以下步骤：

a1、ansible向受控主机发出指令，受控主机检查关机通知脚本是否存在，如若存在，则继续执行步骤a2，如若不存在，则ansible为受控主机配置关机通知脚本，再执行步骤a2；

a2、受控主机向ansible发送未关机返回结果，未关机返回结果包括受控主机的cpu资源使用情况、cpu使用率、内存总量、内存使用率、占用cpu最高的前十个进程信息、交换区总量和使用率；

a3、ansible在未关机返回结果中的alive字段中添加alive＝true后，将其以json格式存入数据库中。

请参照图5(b)，所述网络节点状态信息中的受控主机在关机过程中的状态判断方法包括以下步骤：

b1、受控主机获取关机命令，触发关机通知脚本；

b2、受控主机向ansible发送关机返回结果，关机返回结果包括受控主机的内存总量、内存使用率、占用cpu最高的前十个进程信息、交换区总量和使用率；

b3、ansible在关机返回结果中的alive字段中添加alive＝false后，将其以json格式存入数据库中。

网络节点状态信息能够包含网络节点宕机、拥塞以及人为断网等几个情景，考虑到人为关机与人为断网(拔网线)的应用情景在数据上存在相似性，为了降低系统误判率，需要有效地将两种情况加以区分，在本实施例中，采用关机通知脚本来实现这两种情况的区分。

实施例3

请参照图6，本发明提供了一种用于网络健康状况建模分析的网络数据采集系统，包括中间交换机、网关交换机、旁路监控机、受控主机和控制主机，控制主机与所述网关交换机通信连接，并安装有用于采集第二网络数据包的ansible，控制主机与受控主机之间能够实现ssh免密登陆，以使控制主机与受控主机之间可通过ssh通信；网关交换机具有端口镜像功能；旁路监控机安装有wireshark和winpcap。

在本实施例中，在安装ansible时，各受控主机的ip以列表的形式写入ansible的配置文件中，ansible配置端口和日志文件位置，配置日志等级，且需关闭干扰信息。

在本实施例中，网关交换机具有端口镜像功能，若其自身没有该功能，可以在旁路监控机与网关交换机之间连接一个端口镜像采集器，端口镜像采集器本质上为一个功能简单的交换机，其能够将经过该网关交换机的数据流导向旁路监控机，便于旁路监控机快速解析数据包。

在本实施例中，所述控制主机的软硬件包括：操作系统为Deepin 15.11，内存为15G，磁盘大小为400G，文件系统为EXT4，网卡为100M局域网卡，Linux内核为3.10。

在本实施例中，旁路监控机安装有winpcap，继而捕获经过旁路监控机的数据包即可获取整个局域网内部的网络数据，除此之外，还可用安装libpcap来实现该功能。libpcap是unix/linux平台下的网络数据包捕获函数包，大多数网络监控软件都以它为基础，Libpcap可以在绝大多数类unix平台下工作。winpcap是windows平台下一个公共的网络访问系统。

在本实施例中，wireshark的安装分为两个部分，第一部分安装wireshark依赖包，包括flex、bison、build-essential、glib2.0、gtk2.0、libpcap。flex和bison主要负责pcap格式包的解析，build-essential负责不同包之间依赖关系的整合，glib2.0是wireshark源码中使用的c语言库，gtk2.0是wiresharkGUI界面使用的C语言库，libpcap是linux系统中负责网络数据包旁路监控的库。第二部分是安装wireshark，也可以选择无GUI界面的tshark版本。Tshark作为wireshark的子项目，拥有wireshark的全部功能，无GUI界面，消耗资源较少，使用命令行的形式指定工作方式。

在本实施例中，使用单独的一个服务器充当控制主机，便于定时从所有受控主机节点接收并记录节点状态信息。

在本实施例中，为了获取局域网中节点主机的资源使用情况，在系统网络中增加了一台控制主机，专门用来下发和接收局域网内部节点的资源使用信息，而且所增加的成本很低，完全在合理的范围之内。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种用于网络健康状况建模分析的网络数据采集方法，其特征在于，包括以下步骤：

S1、通过wireshark从受控主机采集包含有网络节点连接信息的第一网络数据包，并将其解析为json格式的数据包后存入数据库中；

S2、从受控主机采集包含有网络节点状态信息的第二网络数据包，并将其解析为json格式的数据包后存入数据库中；

S3、从数据库中调取json格式的第一网络数据包和json格式的第二网络数据包，并拼接为json格式的组合网络数据包，所调取的第一网络数据包和第二网络数据包所对应的捕获时间段和主机ip均相同；

S4、将组合网络数据包存入数据库中，供网络健康状况分析时调取；

所述步骤S2中，第二网络数据包通过ansible采集，其通过ssh与受控主机通信；

所述网络节点状态信息中的受控主机未关机时的状态判断方法包括以下步骤：

a1、ansible向受控主机发出指令，受控主机检查关机通知脚本是否存在，如若存在，则继续执行步骤a2，如若不存在，则ansible为受控主机配置关机通知脚本，再执行步骤a2；

a2、受控主机向ansible发送未关机返回结果，未关机返回结果包括受控主机的cpu资源使用情况、cpu使用率、内存总量、内存使用率、占用cpu最高的前十个进程信息、交换区总量和使用率；

a3、ansible在未关机返回结果中的alive字段中添加alive＝true后，将其以json格式存入数据库中；

所述网络节点状态信息中的受控主机在关机过程中的状态判断方法包括以下步骤：

b1、受控主机获取关机命令，触发关机通知脚本；

b2、受控主机向ansible发送关机返回结果，关机返回结果包括受控主机的内存总量、内存使用率、占用cpu最高的前十个进程信息、交换区总量和使用率；

b3、ansible在关机返回结果中的alive字段中添加alive＝false后，将其以json格式存入数据库中。

2.根据权利要求1所述用于网络健康状况建模分析的网络数据采集方法，其特征在于，所述第一网络数据包是实时采集的，所述第二网络数据包每隔3S采集一次。

3.根据权利要求1所述用于网络健康状况建模分析的网络数据采集方法，其特征在于，所述步骤S3是通过创建java项目，并使用fastjson工具从数据库中调取并拼接数据的，且调取数据时的查询条件为捕获时间段、目的主机ip和源主机ip。

4.根据权利要求1所述用于网络健康状况建模分析的网络数据采集方法，其特征在于，所述数据库为mongodb。

Images