CN113242208A - 基于网络流的网络态势分析系统 - Google Patents

基于网络流的网络态势分析系统 Download PDF

Info

Publication number
CN113242208A
CN113242208A CN202110377453.6A CN202110377453A CN113242208A CN 113242208 A CN113242208 A CN 113242208A CN 202110377453 A CN202110377453 A CN 202110377453A CN 113242208 A CN113242208 A CN 113242208A
Authority
CN
China
Prior art keywords
data
flow
network
unit
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110377453.6A
Other languages
English (en)
Other versions
CN113242208B (zh
Inventor
刘丹
李航宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110377453.6A priority Critical patent/CN113242208B/zh
Publication of CN113242208A publication Critical patent/CN113242208A/zh
Application granted granted Critical
Publication of CN113242208B publication Critical patent/CN113242208B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

本发明公开了一种基于网络流的网络态势分析系统，首先，对底层网络设备进行流量监控与镜像，解析出当前局域网中所有的流量数据，并按照对应的协议格式对所述流量数据进行解析；同时将解析好的原始流量表发送给所述数据存储模块进行存储；然后，对存储的所述原始流量表进行解析，并对解析出的流量数据头进行统计以及查询；接着，获取所述数据存储模块中的多种特征信息，并将多种所述特征信息输入对应的流量分类神经网络中，得到对应的分析结果；最后，根据所述分析结果，展现不同功能在页面上的可视化效果，方便网络管理员能够及时准确地了解当前局域网内流量的变化情况。

Description

基于网络流的网络态势分析系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于网络流的网络态势分析系统。
背景技术
随着互联网的迅猛发展，人类的日常生活与互联网紧密相关。随着数字化时代的到来，越来越多的企业在机构内部建立内网，搭建属于自己的工作环境。但是，尽管搭建内网隔绝了大部分来自外界的攻击，但是却忽视了来自内部的威胁与漏洞。
为了应对外部攻击，也为在职员工提供一个良好的工作网络环境，诸多企业都设立了专门的网络维护人员。但是这些网络维护人员对于内部员工在工作时间产生非工作流量无法起到任何监督作用，而当局域网中网络流量激增或出现攻击现象时，也无法及时查出被攻击的主机以及攻击源头。因此，对于网络管理的策略升级，网络管理人员往往处于一种滞后被动的状态。
发明内容
本发明的目的在于提供一种基于网络流的网络态势分析系统，方便网络管理员能够及时准确地了解当前局域网内流量的变化情况。
为实现上述目的，本发明提供了一种基于网络流的网络态势分析系统，所述基于网络流的网络态势分析系统包括数据采集模块、数据存储模块、数据分析模块和数据展示模块，所述数据采集模块、所述数据存储模块、所述数据分析模块和所述数据展示模块依次连接；
所述数据采集模块，用于对底层网络设备进行流量监控与镜像，解析出当前局域网中所有的流量数据，并按照对应的协议格式对所述流量数据进行解析；同时将解析好的原始流量表发送给所述数据存储模块进行存储；
所述数据存储模块，用于对存储的所述原始流量表进行解析，并对解析出的流量数据头进行统计以及查询；
所述数据分析模块，用于获取所述数据存储模块中的多种特征信息，并将多种所述特征信息输入对应的流量分类神经网络中，得到对应的分析结果；
所述数据展示模块，用于根据所述分析结果，展现不同功能在页面上的可视化效果。
其中，所述基于网络流的网络态势分析系统包括数据通信模块，所述数据通信模块与所述数据存储模块连接；
所述数据通信模块，用于将所述数据存储模块中存储的所有的所述原始流量数据发送到同一个服务器中。
其中，所述数据采集模块包括流量捕获单元和多协议解析单元，所述多协议解析单元与所述流量捕获单元连接；
所述流量捕获单元，用于采用pypcap工具对流量进行捕获，并通过使用dpkt工具对数据包进行解析；
所述多协议解析单元，用于通过从链路层、网络层、传输层和应用层对解析得到的流量数据的数据帧头部进行解析和存储，获得原始流量特征表，并传输至所述数据存储模块中。
其中，所述数据分析模块包括流量应用分类单元和拓扑图数据单元，所述流量应用分类单元与所述数据存储模块连接，所述拓扑图数据单元与数据存储模块连接；
所述流量应用分类单元，用于获取对应的流量数据时间戳，同时，基于所述时间戳计算出对应的应用列表和存储id，然后基于所述存储id将所述流量数据进行分类；
所述拓扑图数据单元，用于获取当前时间段内的所有设备的基本信息，并基于对应的IP地址和所述存储id获取对应的连接线数据；同时结合对应的基本参数，构建拓扑数据集。
其中，所述数据分析模块还包括流量告警检测单元，所述流量告警检测单元与所述数据存储模块连接；
所述流量告警检测单元，用于获取当前时间段内的所有的告警类型和触发次数，并写入综合告警数据集合中；同时，将所述告警类型和对应的告警id作为查询条件，将对应的参数信息写入详细告警数据集合中。
其中，所述数据展示模块包括综合页面展示单元和应用页面展示单元，所述综合页面展示单元与所述流量应用分类单元和所述流量告警检测单元连接，所述应用页面展示单元与所述拓扑数据单元、所述流量应用分类单元和所述流量告警检测单元连接；
所述综合页面展示单元，用于使用全国地图作为背景，并在地图上标出所有的采集点信息；
所述应用页面展示单元，用于基于所述拓扑数据单元中的所述拓扑数据集展示对应的拓扑图，并基于所述拓扑图的展示信息，同时将对应的应用分类信息以及告警信息进行展示。
其中，所述数据展示模块还包括主机页面展示单元和配置页面展示单元，所述主机页面展示单元与所述应用页面展示单元连接，所述配置页面展示单元与所述综合页面展示单元连接；
所述主机页面展示单元，用于展示当前主机与相连的其他主机或服务器的拓扑图，并且在拓扑图左边展示当前主机上运行的应用的名称列表；
所述配置页面展示单元，用于对所述采集点进行增改，并对于每一个所述采集点配置对应的应用和设备。
本发明的一种基于网络流的网络态势分析系统，首先，对底层网络设备进行流量监控与镜像，解析出当前局域网中所有的流量数据，并按照对应的协议格式对所述流量数据进行解析；同时将解析好的原始流量表发送给所述数据存储模块进行存储；然后，对存储的所述原始流量表进行解析，并对解析出的流量数据头进行统计以及查询；接着，获取所述数据存储模块中的多种特征信息，并将多种所述特征信息输入对应的流量分类神经网络中，得到对应的分析结果；最后，根据所述分析结果，展现不同功能在页面上的可视化效果，方便网络管理员能够及时准确地了解当前局域网内流量的变化情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于网络流的网络态势分析系统的结构示意图。
图2是本发明提供的数据库的总体存储结构。
图3是本发明提供的捕获流量数据流程图。
图4是本发明提供的Pcap数据结构示意图。
图5是本发明提供的Packet Header结构示意图。
图6是本发明提供的Packet Data结构示意图。
图7是本发明提供的流量在各层协议中封装流程示意图。
图8是本发明提供的TCP报头结构示意图。
图9是本发明提供的IP报头结构示意图。
图10是本发明提供的以太网帧头结构示意图。
图11是本发明提供的Packet数据封装流程示意图。
图12是本发明提供的顶层数据采集流程图。
1-数据采集模块、2-数据存储模块、3-数据分析模块、4-数据展示模块、5-数据通信模块、11-流量捕获单元、12-多协议解析单元、21-底层流量单元、22-中间存储单元、23-顶层存储单元、31-流量应用分类单元、32-拓扑图数据单元、33-流量告警检测单元、41-综合页面展示单元、42-应用页面展示单元、43-主机页面展示单元、44-配置页面展示单元、51-数据接收端、52-数据发送端。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1，本发明提供一种基于网络流的网络态势分析系统，所述基于网络流的网络态势分析系统包括数据采集模块1、数据存储模块2、数据分析模块3和数据展示模块4，所述数据采集模块1、所述数据存储模块2、所述数据分析模块3和所述数据展示模块4依次连接；
所述数据采集模块1，用于对底层网络设备进行流量监控与镜像，解析出当前局域网中所有的流量数据，并按照对应的协议格式对所述流量数据进行解析；同时将解析好的原始流量表发送给所述数据存储模块2进行存储；
所述数据存储模块2，用于对存储的所述原始流量表进行解析，并对解析出的流量数据头进行统计以及查询；
所述数据分析模块3，用于获取所述数据存储模块2中的多种特征信息，并将多种所述特征信息输入对应的流量分类神经网络中，得到对应的分析结果；
所述数据展示模块4，用于根据所述分析结果，展现不同功能在页面上的可视化效果。
在本实施方式中，首先，在所述数据采集模块1中，需要对底层网络设备进行流量监控与镜像，解析出当前局域网中所有的流量数据，并按照对应的协议格式对所述流量数据进行解析，以获取每一个数据包的详细信息；同时将解析好的原始流量表发送给所述数据存储模块2进行存储，以供历史流量数据的回溯；然后，数据存储模块2中主要分为三个部分，分别为原始流量数据库，中间层数据库以及顶层功能数据库。其中原始流量数据库存储数据采集模块1中直接解析的流量数据报头，中间层数据库则通过对原始流量数据库的部分数据进行统计，从而获得一些常用的统计信息，如应用流量大小，主机Mac地址统计等。而顶层功能数据库则根据前端需要展示的功能，对中间层数据库中的数据进行进一步的查询和统计。
接着，获取所述数据存储模块2中的多种特征信息，并将多种所述特征信息输入对应的流量分类神经网络、攻击检测等多个算法中，得到对应的分析结果；最后，根据所述分析结果，展现不同功能在页面上的可视化效果，方便网络管理员能够及时准确地了解当前局域网内流量的变化情况。
进一步的，所述数据存储模块2包括底层流量单元21、中间存储单元22和顶层存储单元23，所述底层流量单元21与所述数据采集模块1连接，所述中间存储单元22与所述底层流量单元21连接，所述顶层存储单元23与所述中间存储单元22连接；
所述底层流量单元21，用于获取所述原始流量表，并基于毫秒级的速度进行更新；
所述中间存储单元22，用于对所述原始流量表中的流量字段的组合和统计，对中间层API进行封装；
所述顶层存储单元23，用于从所述中间存储单元22中获得当前局域网中存在的所有主机的mac地址信息，然后根据mac地址信息，从ArpIp表中获得相应的Ip地址，再使用Ip地址从Host表中查询出相应的Host信息，并写入顶层数据库的Topo表中。
在本实施方式中，在数据存储模块2中，数据存储主要分为三个层次，自底向上分别为底层的底层流量单元21，中间层的针对不同功能设计的中间存储单元22，以及顶层用于展示的顶层存储单元23。由于该网络用户行为检查系统需要做到准实时的展示速度，每分钟在应用界面上更新当前的局域网的流量信息，因此对数据查询速度并更新页面的速度需要控制在毫秒级别。若对于每次页面更新均直接通过查询流量数据表，然后进行数据分析和组合，会导致前端页面展示速度在秒级以上，极为影响用户体验。因此本文将数据写入与数据读取进行分离，在页面保持静态的分钟粒度内持续抓取并分析数据，将数据组合成前端页面所需的格式，并写入数据库中。在页面更新时直接从顶层数据库读取相应数据并展示。通过这种分层次数据存储的方式，提升了页面的响应速度。数据库的总体存储结构如图2所示。
在图2中，底层中的原始流量表是整个系统的数据来源基础。对于中间层的数据表，其数据来源是通过对原始流量表中流量字段的组合和相同主机的流量数据的统计，以实现基于流量查询的不同基本功能，如查询某一时刻局域网中应用流量大小，某一时刻指定主机的数据吞吐量等。而对于更复杂的功能，则通过组合不同的基本功能加以实现，并将数据写入顶层数据库当中，用于直接向前端交付数据。如在页面中需要实现对当前局域网中主机拓扑图的构建，顶层数据库中的Topo表需要向前端交付拓扑图中主机信息以及连线信息，因此需要在中间层数据库中的Macs表里获得当前局域网中存在的所有主机的mac地址信息，然后根据mac地址，从ArpIp表中获得相应的Ip地址，再使用Ip地址从Host表中查询出相应的Host信息，并写入顶层数据库的Topo表中。通过三段式的存储结构，在未来的功能扩展中，可以通过组合中间层数据库内不同表的信息，向顶层数据库中添加新功能所需的数据信息，而无需变动底层存储以及解析的代码逻辑。
在中间层中，主要囊括了各种基本的流量信息查询操作，主要中间API列表如下：
表1主要中间API列表
Figure BDA0003011757090000071
对于API列表中的每一个API，系统中设计了对应的数据表，此部分功能由同组组员李广阅同学完成，因此不多加说明。对于本系统，将基于这些中间层API进行二次封装，并实现该系统展示所需的顶层数据库，以便于数据的存储与展示。
在顶层数据库中，根据前端展示需要，主要存储三类信息，分别为功能信息，根据前端界面展示的功能对应储存相应的格式化信息。配置信息，用于网络管理人员对当前局域网中中的流量进行定制化管理。以及全局信息，用于存储在多个功能中均需要使用的信息。下面将通过在MongoDB上构建数据存储的集合来详细进行说明。对于介绍的每一个集合，均会给出集合内的字段名，字段描述，以及字段内容。
功能信息
该网络用户行为检查系统，主要分为七个功能。分别是局域网监控应用列表，局域网主机拓扑图，局域网最忙应用，局域网最慢应用，局域网历史流量统计，局域网综合告警信息，局域网详细告警信息。通过抓取这七类信息，可详细展示当前局域网中所有流量，应用和主机在某一时刻的运行状态。下面将分别介绍这七类信息对应的顶层数据库的集合设计。
监控应用列表是当前局域网中管理员想要监控的应用以及流量较大的应用的集合。应用列表中的每一个应用均由一个元组构成，分别是应用名，应用颜色以及配置标志位。通过应用名，可以与拓扑图进行联动，在拓扑图中展示特定应用的相关主机信息。应用颜色用于在拓扑图中高亮出当前运行有该应用流量的连接线。配置标志位表示当前应用是否属于网管人员配置的应用，若是则设置为1。集合结构如表2所示。
表2应用列表集合
字段名 字段描述 字段内容
timestamp 当前应用列表的抓取时间 1556376169
appname 应用名称 "HTTPS"
color 应用对应的过滤颜色 "red"
isconfig 是否属于配置应用的标志位 0
主机拓扑是整个系统中较为重要的功能，通过展示主机拓扑结构，管理人员可直观看到当前局域网中的主机数量，主机类型和主机状态。拓扑结构主要由两部分组成，分别是主机和连接线。其中主机信息包含当前主机的IP地址，Mac地址，主机类型，各种告警数目以及当前主机的行为分类。对于连接线，则包含源IP地址，目的IP地址，线上的流量总数以及当前每个应用的应用名以及各自的流量数值。主机拓扑集合结构如表3所示。由于存在多个子网，因此在主服务器中，每一个子网的拓扑数据将分别通过SubData+采集点ID进行记录。
表3拓扑集合
Figure BDA0003011757090000081
局域网最忙应用用于监控当前局域网中存在于应用列表中的所有应用的吞吐量，并根据吞吐量的大小进行升序排列。其中最忙应用集合当中包括当前应用在局域网中的吞量和吐量。其结构如表4所示。通过该集合，可直接观察当前局域网中流量在应用上的分布比例。以避免局域网中大多数流量均产生于非工作应用的情况出现。
表4最忙应用集合
Figure BDA0003011757090000082
Figure BDA0003011757090000091
局域网最慢应用用于监控当前局域网中存在于应用列表中的所有应用的响应时间，传输时间，以及延迟时间。通过该集合数据，可看出当前局域网中运行状态较差的应用，从而判断运行这些应用的服务器状态，以帮助网管人员能够及时发现出现故障的服务器。集合结构如表5所示。
表5最慢应用集合
字段名 字段描述 字段内容
timestamp 当前最慢应用数据的抓取时间 1556376169
slowApplication 最慢应用名称 "HTTPS"
slowResponse 应用响应时间(毫秒) 0
slowTransmit 应用传输时间(毫秒) 0
slowDelay 应用延迟时间(毫秒) 0
历史应用流量用于监控当前局域网中存在于应用列表中的所有应用的历史流量，通过对历史流量的回溯，可以帮助网管人员及时发现流量波动大的应用，及时发现攻击的产生。集合结构如表6所示。在表中，对于每一个时间戳，均包含一个时间序列，表示历史回溯的各时间戳信息，以及对应的应用流量序列。序列中的每一条都对应一个应用在时间序列上的流量大小。
表6历史应用流量集合
Figure BDA0003011757090000092
综合告警数据主要用于监控当前局域网中所有主机接收流量的程度，告警类型总共分为三种，分别为静态告警，基线告警，以及安全告警。在集合中，统计每一种告警类型的触发次数。集合结构如表7所示。
表7综合告警数据集合
字段名 字段描述 字段内容
timestamp 当前综合告警数据的抓取时间 1556376169
alarmtype 告警类型 "staticalarm"
alarmcount 告警类型对应的触发次数 27
详细告警数据主要用于收集不同告警类型下触发告警的数据信息，对于每一种告警类型，会设置三种严重程度，分别为次要，一般，严重，在被告警的流量数据中会显示当前流量数据的ip地址，以及所属严重程度的类别。集合结构如表8所示。
表8详细告警数据集合
字段名 字段描述 字段内容
timestamp 当前详细告警数据的抓取时间 1556376169
alarmtype 告警类型 "staticalarm"
alarmdata 被告警的相关流量数据信息 [[ip,2,3,4],…]
配置信息
对于配置信息，主要用于添加采集点详情，以及对该站点上的应用、设备两部分进行配置。其中为了便于管理所有采集点，将采集点名称存储在一个集合中，并将数据库自动生成的id作为采集点详情集合、应用配置集合、设备配置集合的外键，以此产生关联。结构如表9所示。
表9采集点集合(crwal_node)
字段名 字段描述 字段内容
id 主键 1
name 采集点 电子科技大学采集点
对于采集点详细主要存储采集点所处地理位置、管理员信息，以便于在遇到突发情况下能够及时与采集点负责人进行联系。具体结构如表10所示：
表10采集点详情集合(crawl_info)
字段名 字段描述 字段内容
id 主键 1
crawlnode_id 外键(采集点id) 1
name 采集点 电子科技大学采集点
person 采集点管理员 zihao
phone 管理员手机 1552821221
place 采集点省份 sichuan
placeinfo 采集点部署位 电子科技大学
当网管人员想要查看特定应用在局域网中的运行情况，可在应用配置中手动输入相应的应用名，应用协议以及应用端口。这样，在数据分析模块3中将使用这些应用信息对数据进行相应的查询，以方便用户对想要查看的应用信息进行筛选。应用配置集合的结构如表11所示。
表11应用配置集合(app_info)
字段名 字段描述 字段内容
id 主键 1
crawlnode_id 外键(采集点id) 1
appname 应用名称 QQ
port 应用使用的端口 80
protocol 应用使用的协议 tcp
为了增强网络拓扑图的生成和可读性，需要对拓扑中的主机进行类别划分。由于在办公场所，路由器和交换机一旦设置，基本处于不变动的状态，因此，需要网管人员在数据库里预先注册好场所里使用的路由器和交换机。路由器和交换机所需的信息如表12所示。
表12设备配置集合(dev_info)
字段名 字段描述 字段内容
id 主键 1
crawlnode_id 外键(采集点id) 1
deviceName 设备名 路由器
macAdr Mac地址 00:1c:42:00:00:09
Type 类别 router
全局信息
在七个主要功能中，主机的相关信息会在多个功能中被需要，而由于tornado中handler的异步机制，handler彼此无法互相交换数据，因此需要通过定义全局信息表来保证每一个handler都能访问到主机信息。主机信息是通过爬取局域网中当前所有主机的mac地址，然后通过mac地址在原始流量表中查询到对应的IP地址，由于并不能保证一定返回对应的IP，因此需要定期爬取和更新当前数据库中的主机信息。集合结构如表13所示。
表13主机详细信息集合
字段名 字段描述 字段内容
id 主键 1
ip 主机的IP地址 192.168.1.164
mac 主机的mac地址 00:0C:29:BA:53:58
进一步的，所述基于网络流的网络态势分析系统包括数据通信模块5，所述数据通信模块5与所述数据存储模块2连接；
所述数据通信模块5，用于将所述数据存储模块2中存储的所有的所述原始流量数据发送到同一个服务器中。
在本实施方式中，一个局域网内部往往存在不同的子网，主路由器一般作为网络边界，掌握着整个局域网的流量进出，主采集点直接连接该路由器，镜像相应的端口抓取流量数据。若在主路由器上接入子路由器，那么将划分出一个子网段，如192.168.100.0/24。主采集点无法采集这个子网内的流量数据，因此需要子采集点定期将子网里的流量数据信息打包发送到主采集点中，以实现单采集点可观测整个局域网的流量数据的功能。并且，对于不同地区的采集点，也可设置一个单独的服务器作为主终端，所有采集点定期发送数据到主终端中，从而在主终端中能够查看不同地区下机构内部的网络情况。为了满足上述功能，在本系统中嵌入了数据通信模块5。
进一步的，所述数据通信模块5包括数据接收端51和数据发送端52，所述数据接收端51与所述数据存储模块2连接，所述数据发送端52与所述数据接收端51连接；
所述数据接收端51，用于通过重写handle_stream方法，对数据进行接收和处理；
所述数据发送端52，用于采用socket提供的connet函数进行对所述数据接收端51的链接，采用sendall函数对本地子网采集的数据传输给所述数据接收端51。
在本实施方式中，数据通信模块5负责各子网之间的数据传输。本模块是基于tornado实现的TCPServer和TCPClient间的异步即时通信。其中对于数据接收端51，实现了一个继承于由tornado提供的TCPServer的类的实例，通过重写handle_stream方法，对数据进行接收和处理。通过创建该实例，使用listen()方法监听端口，启动tornado消息循环，该接收端变开始运行。当有client连接过来，Tornado会自动创建一个iostream，然后调用handle_stream方法，在调用时传入的两个参数是iostream和client的地址。在handle_stream方法内部具体实现如下：采用tornado.iostream.BaseIOStream类的read_until(delimiter,callback)方法进行粘包处理，即从缓冲区里，直到读到截止标记(比如'\n')，就产生一次回调。如果没有截止标记，缓冲区就攒数据，直到等到截止标记出现，才会产生回调。对于callback函数就是对来自子网数据进行封装解析存入数据库。伪代码如表14所示：
表14伪代码
Figure BDA0003011757090000121
对于数据发送端52，便是采用socket提供的connet函数进行对数据接收端51的链接，采用sendall函数对本地子网采集的数据传输给数据接收端51。通过数据通信模块5，将局域网中不同子网段内顶层数据库采集到的信息发送给主采集点，并在主服务器中获取并写入主采集点的顶层数据库中。而在主服务器的前端展示中，通过对数据库的读取，能够同时获得同一时间戳下各个子网的网络信息。由于本系统展示的是分钟粒度下局域网内流量的变化，因此在子采集点中，设置每60s向主采集点发送数据，而主采集点自身也设置为每60s向顶层数据库写入一次数据，由于无法保证子采集点发送数据与主采集点写入数据的操作顺序，因此在本系统中，展示的是当前时间的前两分钟时段的流量变化情况。如当前请求时间为2019年3月28日22点48分36秒，那么前端展示的信息是2019年3月28日22点46分-2019年3月28日22点47分之间采集的数据。因此本系统实际上为准实时的网络用户行为检查系统。
进一步的，所述数据采集模块1包括流量捕获单元11和多协议解析单元12，所述多协议解析单元12与所述流量捕获单元11连接；
所述流量捕获单元11，用于采用pypcap工具对流量进行捕获，并通过使用dpkt工具对数据包进行解析；
所述多协议解析单元12，用于通过从链路层、网络层、传输层和应用层对解析得到的流量数据的数据帧头部进行解析和存储，获得原始流量特征表，并传输至所述数据存储模块2中。
在本实施方式中，采用pypcap工具对流量进行捕获，并通过使用dpkt工具对数据包进行解析。在流量捕获过程中，首先通过pcap.findalldevs()函数获得当前主机上所有网络设备接口信息。选择某一个网络设备，使用pcap.lookupdev()判断当前设备是否可用于流量采集，确定后将其作为采集设备信息传入到pcap.pcap()函数中。然后使用pcap.datalink()对数据链路进行检查。由于本文只需要以太网数据，因此需要确定数据链路类型为DLT_EN10MB。同时，需要将监听模式选择为混杂模式，让系统能够接收到当前局域网中所有存在的流量数据。当需要捕捉某几类特定类型的应用流量时，通过pcap.setfilter()进行流量过滤，如只需要捕捉TCP:80上的流量，过滤语句即为tcp port80。通过上述过程，可以持续获得局域网中的流量数据以及对应的时间戳，流量数据将通过解析，从各级协议头部中抽取信息填入到原始流量信息表中。捕获流量数据流程图如图3所示。
在流程图3中，pypcap工具主要用于采集流量，并将采集的流量打包成为pcap格式的文件。Pcap数据结构如图4所示。
从图4中可看出，Pcap文件由一个Pcap Header和多个Packet组成，其中PcapHeader数据中包含了多个属性。在Packet Header中，Magic为4字节，默认值为0×1A2B3C4D，用于识别当前文件的字节读取顺序；Major为2字节，默认值为0×0200，表示当前文件主要的版本号；Minor为2字节，默认值为0×0400，表示当前文件次要的版本号；ThisZone为4字节，默认值为0秒，表示GMT和本地时间的差；SigFigs为4字节，默认值为0，表示时间戳的精度；SnapLen为4字节，默认值为65535，表示Packet的最大存储长度；LinkType为4字节，表示当前的链路类型。由于存储时仅需要各种协议头部信息，因此在采集时需将SnapLen的值设置为64字节，并丢弃数据域信息。
在Pcap中，Packet数据由Packet Header和Packet Data两部分组成，结构如图5所示。
从图5中可看出，Packet Header中仅包含4个属性。第一个Timestamp大小为4字节，单位为秒，表示时间戳高位；第二个Timestamp大小为4字节，单位为微秒，表示时间戳低位；Caplen大小为4字节，表示当前数据帧指定的抓取长度；Len大小为4字节，表示当前数据帧的实际长度，其值大于等于Caplen。通过Packet Header，可以得到当前数据帧的抓取时间以及数据帧长度，以用于流量大小和数据包数量的统计等功能当中。而对于PacketData，主要包含了当前数据帧经由以太网，IP，TCP/UDP等多种协议包裹下的数据。其结构如图6所示。
从图6中可以看出，Packet Data主要由以太网帧头，IP头，应用协议头，以及数据域组成。通过对各层数据进行解析，从而填充原始数据流量特征表。
多协议解析单元12以从各协议头部获取到原始流量所具有的相关信息，并写入数据库中。流量数据的封装在OSI模型中的传递如图7所示。
在图7中，位于应用层的用户使所用的程序经由用户操作，会产生一定的数据报文，并通过应用本身的协议进行封装，以用于服务器中对应应用的解析和处理。这一部分数据一般无法解读，因为由于各应用封装数据的协议各不相同，通常也进行了加密操作。对于本文提出的用户行为检查系统而言也无需进行解析，通过第三章中提出的神经网络算法对其流量特征进行分类，即可获得该流量所属的应用类型。而在传输层中，应用所使用的通信协议会将应用层封装的流量作为数据域进行第二次封装。如TCP协议会在数据包前生成一个TCP报头，当中含有16位源端口号，16位目的端口号，32位序列号(用于保证当前采集的网络数据包的唯一性)32位确认号，4位首部地址，6位保留，6位标志位(其中URG表示紧急指针是否有效，PSH表示数据直接推送应用层，ACK表示数据确认接收，SYN表示双方连接建立，RST表示双方重新建立连接，FIN表示双方关闭连接)，16位窗口位，16位校验和以及16位紧急指针。其中TCP报头的详细结构如图8所示。而UDP等其他通信协议操作方式相仿，则不再赘述。
对于上述TCP报头结构，构建相应的TCP报头数据结构，然后使用dpkt模块中的dpkt.tcp.TCP对报头进行解析，并将报头中的信息填入到构建的TCP报头的数据结构中。相关的TCP报头数据结构定义如表15所示。
表15相关的TCP报头数据结构定义
Figure BDA0003011757090000151
填充数据后，各标志位可通过与某个固定的数进行与操作获得，如当前TCP报头的SYN标志位可通过tcpdata.flags&0x02进行计算得到，而FIN标志位可通过tcpdata.flags&0x01进行计算得到。至此TCP报头中所有数据均可获得。UDP等其他传输协议同理可解析得到。
通过通信协议的二次封装，在应用层的数据报文中增加了协议头部数据。因此在解析过程中，可以将这些信息填入到原始流量数据表中。当传输层的数据包经过网络层时，需要网际协议IP对其进行第三次封装，在数据包前增加IP报头。lP报头中包含4位版本号，4位首部长度，8位服务类型，16位数据包总长度，16位的标识，3位标志位，13位片偏移，8位生存时间，8位传输层协议类型，16位首部校验和，32位源IP地址，以及32位目的IP地址。IP报头结构如图9所示。
在IP报头中记录有数据报的源IP地址，目标IP地址等重要信息，可用于统计每台主机发送数据报的流量数，丢包数等信息。因此同TCP报头一样，需要对其进行构建IP报头数据结构，然后使用dpkt模块中的dpkt.ip.IP对报头进行解析，并将报头中的信息填入到构建的IP报头的数据结构中。相关的IP报头数据结构定义如表16所示。
表16相关的IP报头数据结构定义
Figure BDA0003011757090000161
在传输层协议封装和网际协议IP封装后，数据报文前还需要加上链路层中的以太网帧头完成最终的封装。在以太网帧头中，封装有当前报文的源mac地址，目的mac地址，以及当前的数据链路类型。以太网帧头的数据结构如图10所示。
如上操作相同，首先构建以太网帧头的数据结构，然后使用dpkt模块中的dpkt.ethernet.Ethernet对报头进行解析，并将报头中的信息填入到构建的以太网帧头的数据结构中。以太网帧头数据结构较为简单，仅有三个属性。相关结构定义如表17所示。
表17以太网帧头数据结构定义
Figure BDA0003011757090000162
通过对一个完整的pcap数据中的packet的结构介绍，可以看出，一条流量数据的所有关键信息，均存在于各层报头当中。因此在解析过程中，需要同图11中Packet数据封装的流程相反，从以太网帧开始逐级解析，直至获得TCP等传输协议的头部数据为止，丢弃剩余的数据域，而保留下解析好的头部信息并存入各个数据结构中。
通过对pcap以太网帧头，IP报头，TCP报头等协议头部数据进行解析，从而可获得描述原始流量的所有特征信息，并形成原始流量表。在数据存储模块2和数据分析模块3，通过对原始流量表进行查询，并对其中的数据进行统计和组合，从而获得各种相应的功能函数。将在接下来的章节中详细描述。原始流量表的表结构如表18所示。
表18原始流量结构表
字段 字段描述 字段类型 来源
rec_time 时间戳 long Pcap头
caplen 数据帧设置专区长度 int Packet头
len 数据帧实际抓取长度 int Packet头
srcmac 源mac地址 varchar 以太网帧头
dstmac 目的mac地址 varchar 以太网帧头
version ip版本 varchar IP报头
hlen 首部长度 varchar IP报头
tos 服务类型 varchar IP报头
toslen 总长度 int(8) IP报头
sign 标志 int(8) IP报头
ttl 生存时间 varchar IP报头
protocol 上层协议类型 varchar IP报头
1type icmp报文类型 varchar IP报头
srcip 源ip地址 varchar IP报头
dstip 目的ip地址 varchar IP报头
srcport 源端口 int(8) TCP报头
dstport 目的端口 int(8) TCP报头
seqno 序列号 int TCP报头
ackno 确认号 int TCP报头
flag 6位标志 varchar TCP报头
thlen tcp首部长度 varchar TCP报头
wnd_size 窗口大小 int(8) TCP报头
urgt_p tcp紧急指针 int(8) TCP报头
cls 当前流量所属应用类别 varchar 神经网络分类
进一步的，所述数据分析模块3包括流量应用分类单元31和拓扑图数据单元32，所述流量应用分类单元31与所述数据存储模块2连接，所述拓扑图数据单元32与数据存储模块2连接；
所述流量应用分类单元31，用于获取对应的流量数据时间戳，同时，基于所述时间戳计算出对应的应用列表和存储id，然后基于所述存储id将所述流量数据进行分类；
所述拓扑图数据单元32，用于获取当前时间段内的所有设备的基本信息，并基于对应的IP地址和所述存储id获取对应的连接线数据；同时结合对应的基本参数，构建拓扑数据集。
在本实施方式中，如图12所示，驱动流程运转的关键是时间戳(timestamp)，对于一次流程的运转，监控的流量运行的终止时间(stoptime)为int(time.time())/60*60，即当前时间的前一分钟，而起始时间(starttime)为stoptime-60。在查询这七个集合数据时，均需要使用起始时间和终止时间。
获得时间戳后，首先使用getApplicationList()函数查询出当前时间段中需要展示的应用列表，以及每个应用对应的信息。在getApplicationList()函数中，首先从配置表中读取所有配置应用的信息，同时，以数据吞吐量为索引字段，在GetAppAggrData()函数中查询出吞吐量大的应用。直至配置应用与查询应用的总数达到预设的展示应用上限。至此，确定了该时间段整个局域网需要观测的应用列表(applicationList)，以及每个应用在中间层数据库中存储时的id(appIds)。
获得appIds后，可用于最忙应用，最慢应用以及应用历史流量查询三部分功能中。通过指定appid，可以在GetAppAggrData()函数中直接查询当前应用的各种指标，如最忙应用的吞吐量指标，最慢应用的响应时间，传输时间，延迟时间指标等。因此，遍历整个appIds，对于每个appid，同时以当前功能所需的指标共同作为索引条件，可以获得最忙应用与最慢应用的描述数据，并写入到最忙应用数据集合和最慢应用数据集合中。而对于应用的历史流量查询中，需要对starttime和stoptime进行调整，使之调整到历史时间段，再以吞吐量作为索引字段进行查询。从而可获得应用一系列的历史吞吐量数据。
对于拓扑图数据单元32，首先通过GetMacAggrData()函数获得当前时间段内局域网中所有设备的Mac地址，对于每一个Mac地址，需要通过GetArpIpData()函数获得其对应的IP地址。若查不出对应IP地址，则视为机器离线，需要将这些数据过滤掉，其余数据均视为主机(pc)。对于查询出的所有IP地址，依次将其作为查询条件，使用GetAppAggrData()函数查询出该IP地址上所有运行的应用数据，由于客户端只发送应用请求和接收应用数据，因此判断当前主机是否属于服务器(server)的标准即为通过IP地址是否能够查询出应用数据。最后通过读取配置文件中所有路由器和交换机的设备信息，将对应的设备类型改成router和switch。至此，获得了当前时间段里所有设备的基本信息，并写入到主机详细信息集合中。接下来，对于属于主机类型或服务器类型的设备，将其IP地址和appIds作为索引条件，使用GetConnAggrData()函数获得当前设备上某个应用运行时与其他设备的连接情况。若存在连接，则记录下当前连接的源IP地址，目的IP地址，当前应用的流量大小。从而获得整个拓扑图中的连接线(link)数据。而拓扑图中的节点(host)数据获得则较为简单，将连接线数据中所有的源IP地址与目的IP地址均记录并去重，然后从主机详细信息集合中通过IP地址查询到对应主机的详细信息，同时，对于每一个主机，需要以IP地址为索引条件，通过GetAppClsAggrData()函数查询出当前主机上所有运行的应用种类，以及对应的流量大小，并记录到host当中。最后将连接线数据与主机数据均写入拓扑数据集合中。
将上述数据抓取流程进行整合，使用tornado.ioloop.PeriodicCallback()开辟一个线程进行定时抓取，从而分离了数据读取与数据写入过程。使得本系统的响应速度大大加快。
进一步的，所述数据分析模块3还包括流量告警检测单元33，所述流量告警检测单元33与所述数据存储模块2连接；
所述流量告警检测单元33，用于获取当前时间段内的所有的告警类型和触发次数，并写入综合告警数据集合中；同时，将所述告警类型和对应的告警id作为查询条件，将对应的参数信息写入详细告警数据集合中。
在本实施方式中，对于综合告警数据和详细告警数据，只需要starttime和stoptime即可进行查询。首先通过GetAlarmSummary()函数获得当前时间段中局域网内被触发的所有告警类型，以及被触发的次数，即可写入综合告警数据集合中。同时记录下每一个告警类型对应的在数据库中的id。然后将告警类型以及对应的告警id作为查询条件，使用GetAlarmData()函数查出每一种告警类型下所有触发该告警的流量数据。数据包括流量的源IP地址，目标IP地址，告警等级等。并将这些信息全部写入详细告警数据集合中。
进一步的，所述数据展示模块4包括综合页面展示单元41和应用页面展示单元42，所述综合页面展示单元41与所述流量应用分类单元31和所述流量告警检测单元33连接，所述应用页面展示单元42与所述拓扑数据单元、所述流量应用分类单元31和所述流量告警检测单元33连接；
所述综合页面展示单元41，用于使用全国地图作为背景，并在地图上标出所有的采集点信息；
所述应用页面展示单元42，用于基于所述拓扑数据单元中的所述拓扑数据集展示对应的拓扑图，并基于所述拓扑图的展示信息，同时将对应的应用分类信息以及告警信息进行展示。
在本实施方式中，在综合页面展示单元41上主要以采集点为单位进行展示，由于不同的采集点的地理位置不同，通过在地图上的方位不同来判断采集点所属单位是较为直观的展示方式。综合页面上需要通过使用全国地图作为背景，并在地图上标出所有的采集点信息。采集点正常情况下以绿色表示，而遭受攻击或出现告警时，需要用红色表示以警示网管人员。点击采集点图标即可进入到相应采集点的应用页面，查看该采集点中局域网的流量运行情况。在综合页面同时也需要显示当前所有采集点中最忙和最慢的应用，并使用柱状图进行排列展示。对于采集点的告警信息，需要用饼状图展示当前所有告警类型被触发的次数和比例。
在应用页面展示单元42中，需要展示当前采集点内部所有主机的拓扑图，并且在拓扑图左边展示当前局域网内流量最大的应用的名称列表。并且网管人员可通过勾选特定应用名称的方式来查看该应用在整个拓扑图上流量的运行情况。同时在页面上同综合页面一样，也需要展示当前该采集点里最忙和最慢的应用，告警信息，以及应用列表里每种应用的历史流量数据。对于拓扑图里的每一个主机，根据主机类型的不同具有不同的图标。将鼠标移到特定主机图标上，会显示该主机的简略信息，而右键图片则可以弹出跳转连接，以跳转到主机页面当中。
进一步的，所述数据展示模块4还包括主机页面展示单元43和配置页面展示单元44，所述主机页面展示单元43与所述应用页面展示单元42连接，所述配置页面展示单元44与所述综合页面展示单元41连接；
所述主机页面展示单元43，用于展示当前主机与相连的其他主机或服务器的拓扑图，并且在拓扑图左边展示当前主机上运行的应用的名称列表；
所述配置页面展示单元44，用于对所述采集点进行增改，并对于每一个所述采集点配置对应的应用和设备。
在本实施方式中，在主机页面展示单元43中，需要展示当前该主机与相连的其他主机或服务器的拓扑图，并且在拓扑图左边展示当前主机上运行的应用的名称列表。并且网管人员可通过勾选特定应用名称的方式来查看该应用运行在该主机与不同服务器上的情况。同时在页面上同综合页面一样，也需要展示当前该采集点里最忙和最慢的应用，告警信息，以及对于该主机产生的流量的类型判断。通过该主机产生流量所属于应用类别的比例，判断当前主机所属的用户行为类型。
在配置页面展示单元44中，需要能够对采集点进行增改，并且对于每一个采集点，能够配置对应的应用和设备，并且对当前配置进行导入与导出。
本发明的一种基于网络流的网络态势分析系统，首先，对底层网络设备进行流量监控与镜像，解析出当前局域网中所有的流量数据，并按照对应的协议格式对所述流量数据进行解析；同时将解析好的原始流量表发送给所述数据存储模块2进行存储；然后，对存储的所述原始流量表进行解析，并对解析出的流量数据头进行统计以及查询；接着，获取所述数据存储模块2中的多种特征信息，并将多种所述特征信息输入对应的流量分类神经网络中，得到对应的分析结果；最后，根据所述分析结果，展现不同功能在页面上的可视化效果，方便网络管理员能够及时准确地了解当前局域网内流量的变化情况。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种基于网络流的网络态势分析系统，其特征在于，
所述基于网络流的网络态势分析系统包括数据采集模块、数据存储模块、数据分析模块和数据展示模块，所述数据采集模块、所述数据存储模块、所述数据分析模块和所述数据展示模块依次连接；
所述数据采集模块，用于对底层网络设备进行流量监控与镜像，解析出当前局域网中所有的流量数据，并按照对应的协议格式对所述流量数据进行解析；同时将解析好的原始流量表发送给所述数据存储模块进行存储；
所述数据存储模块，用于对存储的所述原始流量表进行解析，并对解析出的流量数据头进行统计以及查询；
所述数据分析模块，用于获取所述数据存储模块中的多种特征信息，并将多种所述特征信息输入对应的流量分类神经网络中，得到对应的分析结果；
所述数据展示模块，用于根据所述分析结果，展现不同功能在页面上的可视化效果。
2.如权利要求1所述的基于网络流的网络态势分析系统，其特征在于，
所述基于网络流的网络态势分析系统包括数据通信模块，所述数据通信模块与所述数据存储模块连接；
所述数据通信模块，用于将所述数据存储模块中存储的所有的所述原始流量数据发送到同一个服务器中。
3.如权利要求1所述的基于网络流的网络态势分析系统，其特征在于，
所述数据采集模块包括流量捕获单元和多协议解析单元，所述多协议解析单元与所述流量捕获单元连接；
所述流量捕获单元，用于采用pypcap工具对流量进行捕获，并通过使用dpkt工具对数据包进行解析；
所述多协议解析单元，用于通过从链路层、网络层、传输层和应用层对解析得到的流量数据的数据帧头部进行解析和存储，获得原始流量特征表，并传输至所述数据存储模块中。
4.如权利要求1所述的基于网络流的网络态势分析系统，其特征在于，
所述数据分析模块包括流量应用分类单元和拓扑图数据单元，所述流量应用分类单元与所述数据存储模块连接，所述拓扑图数据单元与数据存储模块连接；
所述流量应用分类单元，用于获取对应的流量数据时间戳，同时，基于所述时间戳计算出对应的应用列表和存储id，然后基于所述存储id将所述流量数据进行分类；
所述拓扑图数据单元，用于获取当前时间段内的所有设备的基本信息，并基于对应的IP地址和所述存储id获取对应的连接线数据；同时结合对应的基本参数，构建拓扑数据集。
5.如权利要求4所述的基于网络流的网络态势分析系统，其特征在于，
所述数据分析模块还包括流量告警检测单元，所述流量告警检测单元与所述数据存储模块连接；
所述流量告警检测单元，用于获取当前时间段内的所有的告警类型和触发次数，并写入综合告警数据集合中；同时，将所述告警类型和对应的告警id作为查询条件，将对应的参数信息写入详细告警数据集合中。
6.如权利要求5所述的基于网络流的网络态势分析系统，其特征在于，
所述数据展示模块包括综合页面展示单元和应用页面展示单元，所述综合页面展示单元与所述流量应用分类单元和所述流量告警检测单元连接，所述应用页面展示单元与所述拓扑数据单元、所述流量应用分类单元和所述流量告警检测单元连接；
所述综合页面展示单元，用于使用全国地图作为背景，并在地图上标出所有的采集点信息；
所述应用页面展示单元，用于基于所述拓扑数据单元中的所述拓扑数据集展示对应的拓扑图，并基于所述拓扑图的展示信息，同时将对应的应用分类信息以及告警信息进行展示。
7.如权利要求6所述的基于网络流的网络态势分析系统，其特征在于，
所述数据展示模块还包括主机页面展示单元和配置页面展示单元，所述主机页面展示单元与所述应用页面展示单元连接，所述配置页面展示单元与所述综合页面展示单元连接；
所述主机页面展示单元，用于展示当前主机与相连的其他主机或服务器的拓扑图，并且在拓扑图左边展示当前主机上运行的应用的名称列表；
所述配置页面展示单元，用于对所述采集点进行增改，并对于每一个所述采集点配置对应的应用和设备。
CN202110377453.6A 2021-04-08 2021-04-08 基于网络流的网络态势分析系统 Expired - Fee Related CN113242208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110377453.6A CN113242208B (zh) 2021-04-08 2021-04-08 基于网络流的网络态势分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110377453.6A CN113242208B (zh) 2021-04-08 2021-04-08 基于网络流的网络态势分析系统

Publications (2)

Publication Number Publication Date
CN113242208A true CN113242208A (zh) 2021-08-10
CN113242208B CN113242208B (zh) 2022-07-05

Family

ID=77131098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110377453.6A Expired - Fee Related CN113242208B (zh) 2021-04-08 2021-04-08 基于网络流的网络态势分析系统

Country Status (1)

Country Link
CN (1) CN113242208B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114338244A (zh) * 2022-03-10 2022-04-12 中科边缘智慧信息科技（苏州）有限公司 设备网络行为分类记录方法、装置及回溯举证方法、装置
CN116112399A (zh) * 2022-12-23 2023-05-12 中核武汉核电运行技术股份有限公司 一种工控网络流量解析系统
CN117573480A (zh) * 2023-12-14 2024-02-20 杭州丽冠科技有限公司 基于人工智能的数据安全监控方法与装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202435422U (zh) * 2011-11-16 2012-09-12 长安大学 网络结构状态监测与边界守护系统
CN106202331A (zh) * 2016-07-01 2016-12-07 中国传媒大学 分层次隐私保护的推荐系统及基于该推荐系统的作业方法
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
CN108039957A (zh) * 2017-11-10 2018-05-15 上海华讯网络系统有限公司 复杂网络流量包智能分析系统
CN109067596A (zh) * 2018-09-21 2018-12-21 南京南瑞继保电气有限公司 一种变电站网络安全态势感知方法及系统
CN109639587A (zh) * 2018-12-11 2019-04-16 国网河南省电力公司开封供电公司 一种基于电气自动化的流量监测系统
US20200028771A1 (en) * 2018-07-17 2020-01-23 Cisco Technology, Inc. Encrypted traffic analysis control mechanisms
CN111432295A (zh) * 2020-03-18 2020-07-17 北京科东电力控制系统有限责任公司 一种基于分布式技术的用电信息采集主站系统
CN111966482A (zh) * 2019-05-20 2020-11-20 上海宽带技术及应用工程研究中心 边缘计算系统
CN112102111A (zh) * 2020-09-27 2020-12-18 华电福新广州能源有限公司 一种发电厂数据智能处理系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202435422U (zh) * 2011-11-16 2012-09-12 长安大学 网络结构状态监测与边界守护系统
CN106202331A (zh) * 2016-07-01 2016-12-07 中国传媒大学 分层次隐私保护的推荐系统及基于该推荐系统的作业方法
CN107196910A (zh) * 2017-04-18 2017-09-22 国网山东省电力公司电力科学研究院 基于大数据分析的威胁预警监测系统、方法及部署架构
CN108039957A (zh) * 2017-11-10 2018-05-15 上海华讯网络系统有限公司 复杂网络流量包智能分析系统
US20200028771A1 (en) * 2018-07-17 2020-01-23 Cisco Technology, Inc. Encrypted traffic analysis control mechanisms
CN109067596A (zh) * 2018-09-21 2018-12-21 南京南瑞继保电气有限公司 一种变电站网络安全态势感知方法及系统
CN109639587A (zh) * 2018-12-11 2019-04-16 国网河南省电力公司开封供电公司 一种基于电气自动化的流量监测系统
CN111966482A (zh) * 2019-05-20 2020-11-20 上海宽带技术及应用工程研究中心 边缘计算系统
CN111432295A (zh) * 2020-03-18 2020-07-17 北京科东电力控制系统有限责任公司 一种基于分布式技术的用电信息采集主站系统
CN112102111A (zh) * 2020-09-27 2020-12-18 华电福新广州能源有限公司 一种发电厂数据智能处理系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114338244A (zh) * 2022-03-10 2022-04-12 中科边缘智慧信息科技（苏州）有限公司 设备网络行为分类记录方法、装置及回溯举证方法、装置
CN114338244B (zh) * 2022-03-10 2022-05-20 中科边缘智慧信息科技（苏州）有限公司 设备网络行为分类记录方法、装置及回溯举证方法、装置
CN116112399A (zh) * 2022-12-23 2023-05-12 中核武汉核电运行技术股份有限公司 一种工控网络流量解析系统
CN117573480A (zh) * 2023-12-14 2024-02-20 杭州丽冠科技有限公司 基于人工智能的数据安全监控方法与装置

Also Published As

Publication number Publication date
CN113242208B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN113242208B (zh) 基于网络流的网络态势分析系统
US7385924B1 (en) Enhanced flow data records including traffic type data
JP4774357B2 (ja) 統計情報収集システム及び統計情報収集装置
CN112866075B (zh) 面向Overlay网络的带内网络遥测方法、系统及相关装置
EP1367771B1 (en) Passive network monitoring system
US20060028999A1 (en) Flows based visualization of packet networks with network performance analysis, troubleshooting, optimization and network history backlog
US7366101B1 (en) Network traffic synchronization mechanism
EP1418705B1 (en) Network monitoring system using packet sequence numbers
US7639613B1 (en) Adaptive, flow-based network traffic measurement and monitoring system
US7580356B1 (en) Method and system for dynamically capturing flow traffic data
US9806968B2 (en) Integrated network data collection arrangement and methods thereof
EP3082293B1 (en) Switching device and packet loss method therefor
US9634851B2 (en) System, method, and computer readable medium for measuring network latency from flow records
US20120026914A1 (en) Analyzing Network Activity by Presenting Topology Information with Application Traffic Quantity
JP2001203691A (ja) ネットワークトラフィック監視システム及びそれに用いる監視方法
JP2001356972A (ja) ネットワーク監視システム及びネットワーク監視方法
US10742672B2 (en) Comparing metrics from different data flows to detect flaws in network data collection for anomaly detection
US6954785B1 (en) System for identifying servers on network by determining devices that have the highest total volume data transfer and communication with at least a threshold number of client devices
CN110691007A (zh) 一种精确测量quic连接丢包率的方法
Waldbusser et al. Introduction to the remote monitoring (RMON) family of MIB modules
CN110838949A (zh) 一种网络流量日志记录方法及装置
JP4246238B2 (ja) トラフィック情報の配信及び収集方法
JP2013179491A (ja) ネットワーク品質監視装置及びネットワーク品質監視方法
US11146468B1 (en) Intelligent export of network information
CN114244727A (zh) 一种电力物联网通信全景图即时生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220705

CF01 Termination of patent right due to non-payment of annual fee