CN111756584A - 一种基于深度学习的Netflow协议网络流量分析方法及系统 - Google Patents

一种基于深度学习的Netflow协议网络流量分析方法及系统 Download PDF

Info

Publication number
CN111756584A
CN111756584A CN202010675684.0A CN202010675684A CN111756584A CN 111756584 A CN111756584 A CN 111756584A CN 202010675684 A CN202010675684 A CN 202010675684A CN 111756584 A CN111756584 A CN 111756584A
Authority
CN
China
Prior art keywords
data
module
analysis
deep learning
netflow protocol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010675684.0A
Other languages
English (en)
Inventor
谭强
孙善宝
徐驰
于�玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN202010675684.0A priority Critical patent/CN111756584A/zh
Publication of CN111756584A publication Critical patent/CN111756584A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于深度学习的Netflow协议网络流量分析方法及系统，属于数据监测领域；所述的方法具体步骤如下：S1对Netflow协议上报数据进行采集、发送；S2服务器段对采集的数据进行解码和再编码；S3结构化的数据同时发送至分布式存储和深度学习分析模块；S4利用深度学习模块对数据进行流量安全分析；本发明方法通过分析能及时的发明网络中的异常，从而使得网络管理更主动，为网络的持续高性能运行提供主要的保障，为规划、设计网络提供科学依据，实现实时的网络运行情况分析，缩短故障反应时间，网络管理人员能够获知数据的来源、目的地和网络服务种类，从而便于数据监控的进行。

Description

一种基于深度学习的Netflow协议网络流量分析方法及系统
技术领域
本发明公开一种基于深度学习的Netflow协议网络流量分析方法及系统，涉及数据监测技术领域。
背景技术
Internet自60年代出现以来发展迅猛，网络规模迅速膨胀，网络流量越来越大，网络信息对人们生活的影响也越来越深远，然而网络中非关键业务如聊天等正在大量的消耗网络的带宽资源，从而影响了关键业务如文件传输等的正常展开。因此，通过对网络中的各种业务员流量进行分析、建立合适的预测模型就成为网络发展的必要工作；
网络流量分析根据不同的方法可以从不同的侧面展开，目网络流量是单位时间内通过网络设备或传输介质的信息量(报文数、数据包数或字节数)。网络流量分析根据不同的方法可以从不同的侧面展开，目前，主要的分析方法有流量的统计分析和流量的粒度分析等；
Netflow是一种网络监测功能，可以收集进入及离开网络界面的IP封包的数量及资讯，最早由思科公司研发，应用在路由器及交换器等产品上。经由分析Netflow收集到的资讯，网络管理人员可以知道封包的来源及目的地，网络服务的种类。通过对Netflow数据的监测，可以对网络的运行情况进行分析。
监督式学习是一个机器学习中的方法，可以由训练资料中学到或建立一个模式(函数/learning model)，并依此模式推测新的实例。训练资料是由输入物件(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析)，或是预测一个分类标签(称作分类)。
通过监督式学习获得网络流量监测模型，结合Netflow数据，发明一种基于深度学习的Netflow协议网络流量分析方法及系统以解决上述问题。
发明内容
本发明针对现有技术的问题，提供一种基于深度学习的Netflow协议网络流量分析方法及系统，所采用的技术方案为：一种基于深度学习的Netflow协议网络流量分析方法，所述的方法具体步骤如下：
S1对Netflow协议上报数据进行采集、发送；
S2服务器段对采集的数据进行解码和再编码；
S3结构化的数据同时发送至分布式存储和深度学习分析模块；
S4利用深度学习模块对数据进行流量安全分析。
所述S1利用部署Netflow协议数据采集器的交换机、路由器向目标服务器发送流量特征数据包。
所述S2服务器段利用数据收集器与数据转换通道对采集的数据进行解码和再编码，具体步骤如下：
S201数据转换通道按照Netflow协议规范对数据进行解码
S202数据转换通道根据配置的数据编码规则对解析结果进行重新编码。
所述S3结构化的数据同时发送至分布式存储和深度学习分析模块的具体步骤如下：
S301将结构化的数据进行复制；
S302一份传输至分布式数据库进行存储；
S312另一份传输至深度学习分析模块。
所述S4利用深度学习分析模块结合网络流量安全深度学习的流量分析模型对数据进行流量安全分析，具体步骤如下：
S401利用流量分析模型按照src-ip对数据进行分组；
S402同一src-ip组内以timestamp为X轴，packet size为Y轴进行排序，获得某一src-ip内一段时间内packet size变化规律，以该关系为输入；
S403利用深度学习网络对输入的关系分析获得该src-ip的流量分析结果。
一种基于深度学习的Netflow协议网络流量分析系统，所述的系统包括数据收集模块、数据处理模块、数据转发模块和数据分析模块：
数据收集模块：对Netflow协议上报数据进行采集、发送；
数据处理模块：服务器段对采集的数据进行解码和再编码；
数据转发模块：结构化的数据同时发送至分布式存储和深度学习分析模块；
数据分析模块：利用深度学习模块对数据进行流量安全分析。
所述数据收集模块利用部署Netflow协议数据采集器的交换机、路由器向目标服务器发送流量特征数据包。
所述数据处理模块服务器段利用数据收集器与数据转换通道对采集的数据进行解码和再编码，数据处理模块具体包括解码模块和编码模块：
解码模块：数据转换通道按照Netflow协议规范对数据进行解码
编码模块：数据转换通道根据配置的数据编码规则对解析结果进行重新编码。
所述数据转发模块具体包括拷贝模块、第一传输模块和第二传输模块：
拷贝模块：将结构化的数据进行复制；
第一传输模块：一份传输至分布式数据库进行存储；
第二传输模块：另一份传输至深度学习分析模块。
所述数据分析模块利用深度学习分析模块结合网络流量安全深度学习的流量分析模型对数据进行流量安全分析，数据分析模块具体包括数据分组模块、关系分析模块和流量分析模块：
数据分组模块：利用流量分析模型按照src-ip对数据进行分组；
关系分析模块：同一src-ip组内以timestamp为X轴，packet size为Y轴进行排序，获得某一src-ip内一段时间内packet size变化规律，以该关系为输入；
流量分析模块：利用深度学习网络对输入的关系分析获得该src-ip的流量分析结果。
本发明的有益效果为：本发明方法通过分析能及时的发明网络中的异常，从而使得网络管理更主动，为网络的持续高性能运行提供主要的保障，为规划、设计网络提供科学依据，实现实时的网络运行情况分析，缩短故障反应时间，网络管理人员能够获知数据的来源、目的地和网络服务种类，从而便于数据监控的进行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法的流程图；图2是本发明系统的结构示意图；图3是本发明的实施示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一：
一种基于深度学习的Netflow协议网络流量分析方法，所述的方法具体步骤如下：
S1对Netflow协议上报数据进行采集、发送；
S2服务器段对采集的数据进行解码和再编码；
S3结构化的数据同时发送至分布式存储和深度学习分析模块；
S4利用深度学习模块对数据进行流量安全分析；
进一步的，所述S1利用部署Netflow协议数据采集器的交换机、路由器向目标服务器发送流量特征数据包；
Netflow协议网络数据收集组件包括采集器和收集器，采集器部署在支持Netflow协议的交换机、路由器中，支持对符合Netflow协议网络数据的转发，可以配置收集数据转发目的IP及端口；收集器部署在数据转发目的服务器上，对配置端口进行监听；
进一步的，所述S2服务器段利用数据收集器与数据转换通道对采集的数据进行解码和再编码，具体步骤如下：
S201数据转换通道按照Netflow协议规范对数据进行解码；
S202数据转换通道根据配置的数据编码规则对解析结果进行重新编码；
在数据转发目的服务器上部署数据收集器，服务器上的数据接收器接收数据转发给数据转换通道；在S2服务器段对采集的数据进行解码和再编码时，首先按照S201利用数据转换通道对来自Netflow收集器的数据按照Netflow协议规范进行解码，然后按照S202对解析结果进行重新编码(Json格式：src-ip、src-port、dst-ip、dst-port，packet size，timestamp等字段信息)，使数据符合自定义规范，可以对相关字段进行增减，从而实现流式数据的转换与传输；
进一步的，所述S3结构化的数据同时发送至分布式存储和深度学习分析模块的具体步骤如下：
S301将结构化的数据进行复制；
S302一份传输至分布式数据库进行存储；
S312另一份传输至深度学习分析模块；
再进一步的，所述S4利用深度学习分析模块结合网络流量安全深度学习的流量分析模型对数据进行流量安全分析，具体步骤如下：
S401利用流量分析模型按照src-ip对数据进行分组；
S402同一src-ip组内以timestamp为X轴，packet size为Y轴进行排序，获得某一src-ip内一段时间内packet size变化规律，以该关系为输入；
S403利用深度学习网络对输入的关系分析获得该src-ip的流量分析结果。
实施例二：
一种基于深度学习的Netflow协议网络流量分析系统，所述的系统包括数据收集模块、数据处理模块、数据转发模块和数据分析模块：
数据收集模块：S1对Netflow协议上报数据进行采集、发送；
数据处理模块：S2服务器段对采集的数据进行解码和再编码；
数据转发模块：S3结构化的数据同时发送至分布式存储和深度学习分析模块；
数据分析模块：S4利用深度学习模块对数据进行流量安全分析；
进一步的，所述数据收集模块利用部署Netflow协议数据采集器的交换机、路由器向目标服务器发送流量特征数据包；
Netflow协议网络数据收集组件包括采集器和收集器，采集器部署在支持Netflow协议的交换机、路由器中，支持对符合Netflow协议网络数据的转发，可以配置收集数据转发目的IP及端口；收集器部署在数据转发目的服务器上，对配置端口进行监听；
进一步的，所述数据处理模块的服务器段利用数据收集器与数据转换通道对采集的数据进行解码和再编码，数据处理模块具体包括解码模块和编码模块：
解码模块：数据转换通道按照Netflow协议规范对数据进行解码
编码模块：数据转换通道根据配置的数据编码规则对解析结果进行重新编码；
在数据转发目的服务器上部署数据收集器，服务器上的数据接收器接收数据转发给数据转换通道；在数据处理模块的服务器段对采集的数据进行解码和再编码时，首先同通过解码模块利用数据转换通道对来自Netflow收集器的数据按照Netflow协议规范进行解码，然后通过编码模块对解析结果进行重新编码(Json格式：src-ip、src-port、dst-ip、dst-port，packet size，timestamp等字段信息)，使数据符合自定义规范，可以对相关字段进行增减，从而实现流式数据的转换与传输；
进一步的，所述数据转发模块具体包括拷贝模块、第一传输模块和第二传输模块：
拷贝模块：将结构化的数据进行复制；
第一传输模块：一份传输至分布式数据库进行存储；
第二传输模块：另一份传输至深度学习分析模块。
再进一步的所述数据分析模块利用深度学习分析模块结合网络流量安全深度学习的流量分析模型对数据进行流量安全分析，数据分析模块具体包括数据分组模块、关系分析模块和流量分析模块：
数据分组模块：利用流量分析模型按照src-ip对数据进行分组；
关系分析模块：同一src-ip组内以timestamp为X轴，packet size为Y轴进行排序，获得某一src-ip内一段时间内packet size变化规律，以该关系为输入；
流量分析模块：利用深度学习网络对输入的关系分析获得该src-ip的流量分析结果
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的Netflow协议网络流量分析方法，其特征是所述的方法具体步骤如下：
S1对Netflow协议上报数据进行采集、发送；
S2服务器段对采集的数据进行解码和再编码；
S3结构化的数据同时发送至分布式存储和深度学习分析模块；
S4利用深度学习模块对数据进行流量安全分析。
2.根据权利要求1所述的基于深度学习的Netflow协议网络流量分析方法，其特征是所述S1利用部署Netflow协议数据采集器的交换机、路由器向目标服务器发送流量特征数据包。
3.根据权利要求2所述的基于深度学习的Netflow协议网络流量分析方法，其特征是所述S2服务器段利用数据收集器与数据转换通道对采集的数据进行解码和再编码，具体步骤如下：
S201数据转换通道按照Netflow协议规范对数据进行解码
S202数据转换通道根据配置的数据编码规则对解析结果进行重新编码。
4.根据权利要求3所述的基于深度学习的Netflow协议网络流量分析方法，其特征是所述S3结构化的数据同时发送至分布式存储和深度学习分析模块的具体步骤如下：
S301将结构化的数据进行复制；
S302一份传输至分布式数据库进行存储；
S312另一份传输至深度学习分析模块。
5.根据权利要求4所述的基于深度学习的Netflow协议网络流量分析方法，其特征是所述S4利用深度学习分析模块结合网络流量安全深度学习的流量分析模型对数据进行流量安全分析，具体步骤如下：
S401利用流量分析模型按照src-ip对数据进行分组；
S402同一src-ip组内以timestamp为X轴，packet size为Y轴进行排序，获得某一src-ip内一段时间内packet size变化规律，以该关系为输入；
S403利用深度学习网络对输入的关系分析获得该src-ip的流量分析结果。
6.一种基于深度学习的Netflow协议网络流量分析系统，其特征是所述的系统包括数据收集模块、数据处理模块、数据转发模块和数据分析模块：
数据收集模块：对Netflow协议上报数据进行采集、发送；
数据处理模块：服务器段对采集的数据进行解码和再编码；
数据转发模块：结构化的数据同时发送至分布式存储和深度学习分析模块；
数据分析模块：利用深度学习模块对数据进行流量安全分析。
7.根据权利要求6所述的基于深度学习的Netflow协议网络流量分析系统，其特征是所述数据收集模块利用部署Netflow协议数据采集器的交换机、路由器向目标服务器发送流量特征数据包。
8.根据权利要求7所述的基于深度学习的Netflow协议网络流量分析系统，其特征是所述数据处理模块服务器段利用数据收集器与数据转换通道对采集的数据进行解码和再编码，数据处理模块具体包括解码模块和编码模块：
解码模块：数据转换通道按照Netflow协议规范对数据进行解码
编码模块：数据转换通道根据配置的数据编码规则对解析结果进行重新编码。
9.根据权利要求8所述的基于深度学习的Netflow协议网络流量分析系统，其特征是所述数据转发模块具体包括拷贝模块、第一传输模块和第二传输模块：
拷贝模块：将结构化的数据进行复制；
第一传输模块：一份传输至分布式数据库进行存储；
第二传输模块：另一份传输至深度学习分析模块。
10.根据权利要求9所述的基于深度学习的Netflow协议网络流量分析系统，其特征是所述数据分析模块利用深度学习分析模块结合网络流量安全深度学习的流量分析模型对数据进行流量安全分析，数据分析模块具体包括数据分组模块、关系分析模块和流量分析模块：
数据分组模块：利用流量分析模型按照src-ip对数据进行分组；
关系分析模块：同一src-ip组内以timestamp为X轴，packet size为Y轴进行排序，获得某一src-ip内一段时间内packet size变化规律，以该关系为输入；
流量分析模块：利用深度学习网络对输入的关系分析获得该src-ip的流量分析结果。
CN202010675684.0A 2020-07-14 2020-07-14 一种基于深度学习的Netflow协议网络流量分析方法及系统 Pending CN111756584A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010675684.0A CN111756584A (zh) 2020-07-14 2020-07-14 一种基于深度学习的Netflow协议网络流量分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010675684.0A CN111756584A (zh) 2020-07-14 2020-07-14 一种基于深度学习的Netflow协议网络流量分析方法及系统

Publications (1)

Publication Number Publication Date
CN111756584A true CN111756584A (zh) 2020-10-09

Family

ID=72710296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010675684.0A Pending CN111756584A (zh) 2020-07-14 2020-07-14 一种基于深度学习的Netflow协议网络流量分析方法及系统

Country Status (1)

Country Link
CN (1) CN111756584A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821002A (zh) * 2011-06-09 2012-12-12 中国移动通信集团河南有限公司信阳分公司 网络流量异常检测方法和系统
CN107634874A (zh) * 2017-09-01 2018-01-26 南通大学 Sdn环境下基于bp神经网络的p2p流量检测方法
CN110138787A (zh) * 2019-05-20 2019-08-16 福州大学 一种基于混合神经网络的异常流量检测方法及系统
CN110311906A (zh) * 2019-06-28 2019-10-08 温州易思网络科技有限公司 一种网络流量智能分析系统
CN110581850A (zh) * 2019-09-09 2019-12-17 河南戎磐网络科技有限公司 一种基于网络流量基因检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821002A (zh) * 2011-06-09 2012-12-12 中国移动通信集团河南有限公司信阳分公司 网络流量异常检测方法和系统
CN107634874A (zh) * 2017-09-01 2018-01-26 南通大学 Sdn环境下基于bp神经网络的p2p流量检测方法
CN110138787A (zh) * 2019-05-20 2019-08-16 福州大学 一种基于混合神经网络的异常流量检测方法及系统
CN110311906A (zh) * 2019-06-28 2019-10-08 温州易思网络科技有限公司 一种网络流量智能分析系统
CN110581850A (zh) * 2019-09-09 2019-12-17 河南戎磐网络科技有限公司 一种基于网络流量基因检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩靖，郭放，石金华: "基于神经网络的网络流量监控的研究", 《微计算机信息》 *

Similar Documents

Publication Publication Date Title
Tan et al. In-band network telemetry: A survey
CN107659419B (zh) 网络切片方法和系统
EP3072260B1 (en) Methods, systems, and computer readable media for a network function virtualization information concentrator
CN109831386B (zh) 一种sdn下基于机器学习的最优路径选择算法
CN103338150B (zh) 信息通信网络体系结构建立方法、装置、服务器和路由器
EP1722508B1 (en) Distributed traffic analysis
EP3051866B1 (en) Method, device, and storage medium for deep packet inspection control
EP2288086A1 (en) Network monitoring device, bus system monitoring device, method and program
CN113676376B (zh) 一种基于分簇的带内网络遥测方法
US20090245115A1 (en) Method and system for porviding holistic, interative, rule-based traffic management
KR20180120558A (ko) 딥러닝 기반 통신망 장비의 장애 예측 시스템 및 방법
CN113055693B (zh) 数据处理方法及装置
CN110505112B (zh) 一种网络性能监测方法、装置和存储介质
US9641405B2 (en) System and method for sequencing per-hop data in performance-monitored network environments
Hyun et al. Real‐time and fine‐grained network monitoring using in‐band network telemetry
Chowdhury et al. Lint: Accuracy-adaptive and lightweight in-band network telemetry
CN115562879B (zh) 算力感知方法、装置、电子设备和存储介质
CN111049698A (zh) 一种遥测数据采集方法及装置
CN114050994A (zh) 一种基于SRv6的网络遥测方法
Xu et al. Emergency OPM recreation and telemetry for disaster recovery in optical networks
Neumann et al. Towards monitoring of hybrid industrial networks
CN111756584A (zh) 一种基于深度学习的Netflow协议网络流量分析方法及系统
CN117042000A (zh) 一种双模通信网络的通信模式选择方法
Xu et al. Entropy-driven adaptive INT and its applications in network automation of IP-over-EONs
KR100763523B1 (ko) 제어 프로토콜의 동작을 검증하기 위한 시뮬레이션 장치 및방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201009

WD01 Invention patent application deemed withdrawn after publication