CN114116168A - 一种虚拟网络流量采集的方法 - Google Patents

一种虚拟网络流量采集的方法 Download PDF

Info

Publication number
CN114116168A
CN114116168A CN202111419969.9A CN202111419969A CN114116168A CN 114116168 A CN114116168 A CN 114116168A CN 202111419969 A CN202111419969 A CN 202111419969A CN 114116168 A CN114116168 A CN 114116168A
Authority
CN
China
Prior art keywords
network flow
network
network traffic
data
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111419969.9A
Other languages
English (en)
Inventor
马玥
谭航
鲍全松
范亮凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Future Networks Innovation Institute
Original Assignee
Jiangsu Future Networks Innovation Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Future Networks Innovation Institute filed Critical Jiangsu Future Networks Innovation Institute
Priority to CN202111419969.9A priority Critical patent/CN114116168A/zh
Publication of CN114116168A publication Critical patent/CN114116168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Abstract

本发明公开了一种虚拟网络流量采集的方法，包括以下步骤：S1.对网络流量进行采集；S2.对采集的网络流量进行加工处理；S3.对加工处理后的网络流量进行分析；S4.对分析后的网络流量进行异常检测。通过对网络流量进行采集，能够实现并发采集多个终端的网络流量，从而提高了流量采集的精确度；通过对采集的网络流量进行加工处理，实现对网络流量的汇聚、过滤、修剪和复制等操作，能够过滤掉重复的数据包，提高分析的精度和速度，并降低系统成本和集中监控及分析网络流量；通过对加工处理后的网络流量进行分析，能够实现对网络流量数据的实时监控，对具有安全威胁的数据及时进行处理，进而保证网络数据传输过程中的安全性，提高了网络的安全性。

Description

一种虚拟网络流量采集的方法
技术领域
本发明属于信息处理技术领域，具体涉及一种虚拟网络流量采集的方法。
背景技术
网络通信过程中，网络运维和设计人员为了可以方便快捷的对数据中心网络问题进行评估，扩容，故障排查等，往往需要收集数据经过交换中心时的物理网络信息和虚拟网络信息。
目前现有的一种虚拟网络流量采集的方法还存在一些问题：流量采集的精确度较低，不方便对网络流量的汇聚、过滤、修剪和复制等操作，不方便对网络流量数据的实时监控，降低了网络的安全性，为此我们提出一种虚拟网络流量采集的方法。
发明内容
本发明的目的在于提供一种虚拟网络流量采集的方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种虚拟网络流量采集的方法，包括以下步骤：
S1.对网络流量进行采集；
S2.对采集的网络流量进行加工处理；
S3.对加工处理后的网络流量进行分析；
S4.对分析后的网络流量进行异常检测。
优选的，所述S1中对网络流量进行采集的方法具体包括以下步骤：
S101.创建多个进程，每个所述进程包括多个线程，每个进程与且只与一个采集列表对应，所述采集列表包括各终端的模型信息；
S102.通过所述进程获取对应的所述采集列表，以采集所述各终端的网络流量，采集完成后将采集流量存入至内存结构。
优选的，所述S2中的加工处理包括对网络流量进行汇聚、过滤、修剪和复制。
优选的，所述对网络流量进行汇聚包括将从多个分散物理位置采集的网络流量进行标记并汇聚在一起；所述对网络流量进行过滤包括过滤掉网络流量中的重复数据包；所述对网络流量进行修剪包括屏蔽或去除敏感信息荷载报文；所述对网络流量进行复制包括将经过汇聚、过滤和修剪的网络流量复制成多份。
优选的，所述S3中对加工处理后的网络流量进行分析的方法具体包括以下步骤：
S201.获取网络流量数据，得到网络流量数据集；确定网络流量数据集的风险等级；
S202.创建网络流量模型，并根据网络流量数据集以及其对应的风险等级对网络流量模型进行训练，得到网络流量风险模型；
S203.采集网络流量数据，输入网络流量风险模型，得到对应网络流量数据的风险等级；
S204.对具有安全隐患的网络流量数据进行处理。
优选的，所述S201中网络流量数据集的风险等级的计算公式为：
D＝∑Wx×∑Sy；
其中，∑Wx表示不同网络流量数据对应的权重；∑Sy表示不同网络流量数据对应的安全估值。
优选的，所述S204中对网络流量数据进行处理的方法，包括以下步骤：
步骤一、判断网络流量数据的风险等级是否达到临界值；
步骤二、若网络流量数据的风险等级没有达到临界值，则继续对下一组网络流量数据进行监测；若网络流量数据的风险等级达到临界值，则将网络流量数据下发至风险等级队列；
步骤三、预警处理模板对风险等级队列进行采集；
步骤四、若在风险等级队列中没有采集到网络流量数据，继续执行步骤三；若在风险等级队列中采集到网络流量数据，继续执行步骤五；
步骤五、进行报警提醒并将网络流量数据进行删除。
优选的，所述S4中对分析后的网络流量进行异常检测的方法具体包括以下步骤；
S301.流量特征采集与态势特征指标提取；
S302.面向态势特征的自适应学习与异常分析；
S303.网络异常态势检测与告警。
优选的，所述S302中异常分析为基于希尔伯特黄变换算法的异常检测分析，所述基于希尔伯特黄变换算法分两步：经验模态分解法EMD分解和希尔伯特变换，对信号进行EMD分解的过程其实是一个筛选过程，在这个过程中使信号由复杂的非线性谐波信号转变为简单的线性信号，所述希尔伯特变换过程是从所述线性信号中得到具有物理意义的瞬时频率；所述经验模态分解法EMD分解出的信号称为固有模态函数IMF分量，每个IMF分量都是单分量信号，将IMF分量经过希尔伯特变换获得一个只属于这点的瞬时频率。
优选的，所述经验模态分解法EMD分解，包括如下步骤：假设原信号为x(t),m(t)为极值点上下包络线的均值函数，令s(t)＝x(t),h(t)为信号分解的中间变量，c(t)为IMF函数，信号分解过程如下：
S401.求出函数x(t)的所有极大值点和极小值点，通过三次样条插值函数分别构造出上包络线和下包络线，并计算出其均值函数m(t)；
S402.将函数x(t)减去均值函数m(t)得到h(t)，即h(t)＝x(t)-m(t)；
S403.判断h(t)是否满足IMF条件，假如不符合，令x(t)＝h(t)，对x(t)函数依次重复步骤S401、S402、S403，否则转到S404；
S404.令imfi(t)＝h(t),s(t)＝s(t)-h(t)，判断s(t)是否满足残余趋势项的条件，如果满足则令r(n)＝s(t)，算法结束；否则令x(t)＝s(t)，重复S401-S404，求出n阶的IMF分量imfn(t)及r(n)。
与现有技术相比，本发明的有益效果是：
(1)通过对网络流量进行采集，能够实现并发采集多个终端的网络流量，从而提高了流量采集的精确度。
(2)通过对采集的网络流量进行加工处理，实现对网络流量的汇聚、过滤、修剪和复制等操作，能够过滤掉重复的数据包，提高分析的精度和速度，并降低系统成本和集中监控及分析网络流量。
(3)通过对加工处理后的网络流量进行分析，能够实现对网络流量数据的实时监控，对具有安全威胁的数据及时进行处理，进而保证网络数据传输过程中的安全性，提高了网络的安全性。
(4)通过对分析后的网络流量进行异常检测，为异常检测提供精确参考，具有安全性好、自适应性强和实时性好的特点。
附图说明
图1为本发明的流程框图；
图2为本发明中S1的具体流程框图；
图3为本发明中S3的具体流程框图；
图4为本发明中S4的具体流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图4，本发明提供一种技术方案：一种虚拟网络流量采集的方法，包括以下步骤：
S1.对网络流量进行采集；
S2.对采集的网络流量进行加工处理；
S3.对加工处理后的网络流量进行分析；
S4.对分析后的网络流量进行异常检测。
本实施例中，优选的，所述S1中对网络流量进行采集的方法具体包括以下步骤：
S101.创建多个进程，每个所述进程包括多个线程，每个进程与且只与一个采集列表对应，所述采集列表包括各终端的模型信息；
S102.通过所述进程获取对应的所述采集列表，以采集所述各终端的网络流量，采集完成后将采集流量存入至内存结构。
本实施例中，优选的，所述S2中的加工处理包括对网络流量进行汇聚、过滤、修剪和复制。
本实施例中，优选的，所述对网络流量进行汇聚包括将从多个分散物理位置采集的网络流量进行标记并汇聚在一起；所述对网络流量进行过滤包括过滤掉网络流量中的重复数据包；所述对网络流量进行修剪包括屏蔽或去除敏感信息荷载报文；所述对网络流量进行复制包括将经过汇聚、过滤和修剪的网络流量复制成多份。
本实施例中，优选的，所述S3中对加工处理后的网络流量进行分析的方法具体包括以下步骤：
S201.获取网络流量数据，得到网络流量数据集；确定网络流量数据集的风险等级；
S202.创建网络流量模型，并根据网络流量数据集以及其对应的风险等级对网络流量模型进行训练，得到网络流量风险模型；
S203.采集网络流量数据，输入网络流量风险模型，得到对应网络流量数据的风险等级；
S204.对具有安全隐患的网络流量数据进行处理。
本实施例中，优选的，所述S201中网络流量数据集的风险等级的计算公式为：
D＝∑Wx×∑Sy；
其中，∑Wx表示不同网络流量数据对应的权重；∑Sy表示不同网络流量数据对应的安全估值。
本实施例中，优选的，所述S204中对网络流量数据进行处理的方法，包括以下步骤：
步骤一、判断网络流量数据的风险等级是否达到临界值；
步骤二、若网络流量数据的风险等级没有达到临界值，则继续对下一组网络流量数据进行监测；若网络流量数据的风险等级达到临界值，则将网络流量数据下发至风险等级队列；
步骤三、预警处理模板对风险等级队列进行采集；
步骤四、若在风险等级队列中没有采集到网络流量数据，继续执行步骤三；若在风险等级队列中采集到网络流量数据，继续执行步骤五；
步骤五、进行报警提醒并将网络流量数据进行删除。
本实施例中，优选的，所述S4中对分析后的网络流量进行异常检测的方法具体包括以下步骤；
S301.流量特征采集与态势特征指标提取；
S302.面向态势特征的自适应学习与异常分析；
S303.网络异常态势检测与告警。
本实施例中，优选的，所述S302中异常分析为基于希尔伯特黄变换算法的异常检测分析，所述基于希尔伯特黄变换算法分两步：经验模态分解法EMD分解和希尔伯特变换，对信号进行EMD分解的过程其实是一个筛选过程，在这个过程中使信号由复杂的非线性谐波信号转变为简单的线性信号，所述希尔伯特变换过程是从所述线性信号中得到具有物理意义的瞬时频率；所述经验模态分解法EMD分解出的信号称为固有模态函数IMF分量，每个IMF分量都是单分量信号，将IMF分量经过希尔伯特变换获得一个只属于这点的瞬时频率。
本实施例中，优选的，所述经验模态分解法EMD分解，包括如下步骤：假设原信号为x(t),m(t)为极值点上下包络线的均值函数，令s(t)＝x(t),h(t)为信号分解的中间变量，c(t)为IMF函数，信号分解过程如下：
S401.求出函数x(t)的所有极大值点和极小值点，通过三次样条插值函数分别构造出上包络线和下包络线，并计算出其均值函数m(t)；
S402.将函数x(t)减去均值函数m(t)得到h(t)，即h(t)＝x(t)-m(t)；
S403.判断h(t)是否满足IMF条件，假如不符合，令x(t)＝h(t)，对x(t)函数依次重复步骤S401、S402、S403，否则转到S404；
S404.令imfi(t)＝h(t),s(t)＝s(t)-h(t)，判断s(t)是否满足残余趋势项的条件，如果满足则令r(n)＝s(t)，算法结束；否则令x(t)＝s(t)，重复S401-S404，求出n阶的IMF分量imfn(t)及r(n)。
本发明的原理及优点：通过对网络流量进行采集，能够实现并发采集多个终端的网络流量，从而提高了流量采集的精确度；通过对采集的网络流量进行加工处理，实现对网络流量的汇聚、过滤、修剪和复制等操作，能够过滤掉重复的数据包，提高分析的精度和速度，并降低系统成本和集中监控及分析网络流量；通过对加工处理后的网络流量进行分析，能够实现对网络流量数据的实时监控，对具有安全威胁的数据及时进行处理，进而保证网络数据传输过程中的安全性，提高了网络的安全性；通过对分析后的网络流量进行异常检测，为异常检测提供精确参考，具有安全性好、自适应性强和实时性好的特点。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种虚拟网络流量采集的方法，其特征在于，包括以下步骤：
S1.对网络流量进行采集；
S2.对采集的网络流量进行加工处理；
S3.对加工处理后的网络流量进行分析；
S4.对分析后的网络流量进行异常检测。
2.根据权利要求1所述的一种虚拟网络流量采集的方法，其特征在于：所述S1中对网络流量进行采集的方法具体包括以下步骤：
S101.创建多个进程，每个所述进程包括多个线程，每个进程与且只与一个采集列表对应，所述采集列表包括各终端的模型信息；
S102.通过所述进程获取对应的所述采集列表，以采集所述各终端的网络流量，采集完成后将采集流量存入至内存结构。
3.根据权利要求1所述的一种虚拟网络流量采集的方法，其特征在于：所述S2中的加工处理包括对网络流量进行汇聚、过滤、修剪和复制。
4.根据权利要求3所述的一种虚拟网络流量采集的方法，其特征在于：所述对网络流量进行汇聚包括将从多个分散物理位置采集的网络流量进行标记并汇聚在一起；所述对网络流量进行过滤包括过滤掉网络流量中的重复数据包；所述对网络流量进行修剪包括屏蔽或去除敏感信息荷载报文；所述对网络流量进行复制包括将经过汇聚、过滤和修剪的网络流量复制成多份。
5.根据权利要求1所述的一种虚拟网络流量采集的方法，其特征在于：所述S3中对加工处理后的网络流量进行分析的方法具体包括以下步骤：
S201.获取网络流量数据，得到网络流量数据集；确定网络流量数据集的风险等级；
S202.创建网络流量模型，并根据网络流量数据集以及其对应的风险等级对网络流量模型进行训练，得到网络流量风险模型；
S203.采集网络流量数据，输入网络流量风险模型，得到对应网络流量数据的风险等级；
S204.对具有安全隐患的网络流量数据进行处理。
6.根据权利要求5所述的一种虚拟网络流量采集的方法，其特征在于：所述S201中网络流量数据集的风险等级的计算公式为：
D＝∑Wx×∑Sy；
其中，∑Wx表示不同网络流量数据对应的权重；∑Sy表示不同网络流量数据对应的安全估值。
7.根据权利要求5所述的一种虚拟网络流量采集的方法，其特征在于：所述S204中对网络流量数据进行处理的方法，包括以下步骤：
步骤一、判断网络流量数据的风险等级是否达到临界值；
步骤二、若网络流量数据的风险等级没有达到临界值，则继续对下一组网络流量数据进行监测；若网络流量数据的风险等级达到临界值，则将网络流量数据下发至风险等级队列；
步骤三、预警处理模板对风险等级队列进行采集；
步骤四、若在风险等级队列中没有采集到网络流量数据，继续执行步骤三；若在风险等级队列中采集到网络流量数据，继续执行步骤五；
步骤五、进行报警提醒并将网络流量数据进行删除。
8.根据权利要求1所述的一种虚拟网络流量采集的方法，其特征在于：所述S4中对分析后的网络流量进行异常检测的方法具体包括以下步骤；
S301.流量特征采集与态势特征指标提取；
S302.面向态势特征的自适应学习与异常分析；
S303.网络异常态势检测与告警。
9.根据权利要求8所述的一种虚拟网络流量采集的方法，其特征在于：所述S302中异常分析为基于希尔伯特黄变换算法的异常检测分析，所述基于希尔伯特黄变换算法分两步：经验模态分解法EMD分解和希尔伯特变换，对信号进行EMD分解的过程其实是一个筛选过程，在这个过程中使信号由复杂的非线性谐波信号转变为简单的线性信号，所述希尔伯特变换过程是从所述线性信号中得到具有物理意义的瞬时频率；所述经验模态分解法EMD分解出的信号称为固有模态函数IMF分量，每个IMF分量都是单分量信号，将IMF分量经过希尔伯特变换获得一个只属于这点的瞬时频率。
10.根据权利要求9所述的一种虚拟网络流量采集的方法，其特征在于：所述经验模态分解法EMD分解，包括如下步骤：假设原信号为x(t),m(t)为极值点上下包络线的均值函数，令s(t)＝x(t),h(t)为信号分解的中间变量，c(t)为IMF函数，信号分解过程如下：
S401.求出函数x(t)的所有极大值点和极小值点，通过三次样条插值函数分别构造出上包络线和下包络线，并计算出其均值函数m(t)；
S402.将函数x(t)减去均值函数m(t)得到h(t)，即h(t)＝x(t)-m(t)；
S403.判断h(t)是否满足IMF条件，假如不符合，令x(t)＝h(t)，对x(t)函数依次重复步骤S401、S402、S403，否则转到S404；
S404.令imfi(t)＝h(t),s(t)＝s(t)-h(t)，判断s(t)是否满足残余趋势项的条件，如果满足则令r(n)＝s(t)，算法结束；否则令x(t)＝s(t)，重复S401-S404，求出n阶的IMF分量imfn(t)及r(n)。
CN202111419969.9A 2021-11-26 2021-11-26 一种虚拟网络流量采集的方法 Pending CN114116168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111419969.9A CN114116168A (zh) 2021-11-26 2021-11-26 一种虚拟网络流量采集的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111419969.9A CN114116168A (zh) 2021-11-26 2021-11-26 一种虚拟网络流量采集的方法

Publications (1)

Publication Number Publication Date
CN114116168A true CN114116168A (zh) 2022-03-01

Family

ID=80369813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111419969.9A Pending CN114116168A (zh) 2021-11-26 2021-11-26 一种虚拟网络流量采集的方法

Country Status (1)

Country Link
CN (1) CN114116168A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116647405A (zh) * 2023-06-15 2023-08-25 江西师范大学 一种多路径quic异常流量检测方法、系统及设备
CN116865965A (zh) * 2023-09-01 2023-10-10 北京双湃智安科技有限公司 基于秘密共享的异常事件监测协同告警方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116647405A (zh) * 2023-06-15 2023-08-25 江西师范大学 一种多路径quic异常流量检测方法、系统及设备
CN116647405B (zh) * 2023-06-15 2024-04-05 江西师范大学 一种多路径quic异常流量检测方法、系统及设备
CN116865965A (zh) * 2023-09-01 2023-10-10 北京双湃智安科技有限公司 基于秘密共享的异常事件监测协同告警方法及系统
CN116865965B (zh) * 2023-09-01 2023-11-14 北京双湃智安科技有限公司 基于秘密共享的异常事件监测协同告警方法及系统

Similar Documents

Publication Publication Date Title
CN110807024B (zh) 动态阈值异常检测方法、系统、存储介质及智能设备
CN110839016B (zh) 异常流量监测方法、装置、设备及存储介质
CN108206747B (zh) 告警生成方法和系统
CN114116168A (zh) 一种虚拟网络流量采集的方法
CN110830450A (zh) 基于统计的异常流量监测方法、装置、设备及存储介质
CN108802535B (zh) 筛选方法、主干扰源识别方法及装置、服务器及存储介质
CN111309565A (zh) 告警处理方法、装置、电子设备以及计算机可读存储介质
CN115454778A (zh) 大规模云网络环境下的时序指标异常智能监控系统
CN115033463B (zh) 一种系统异常类型确定方法、装置、设备和存储介质
CN105302123A (zh) 在线测量数据的监控方法
CN114298175A (zh) 基于边缘计算的电力设备状态监测与故障预警方法及系统
CN110995153B (zh) 一种光伏电站的异常数据检测方法、装置及电子设备
CN113271224A (zh) 节点的定位方法、装置、存储介质及电子装置
CN115372816A (zh) 基于数据分析的配电开关设备运行故障预测系统及方法
CN114548437A (zh) 一种基于工业物联网的旋转设备智能运维系统及运维方法
CN114993640A (zh) 一种设备状态监测方法、装置、设备及计算机存储介质
CN110469496B (zh) 一种水泵智能预警方法及系统
CN110533115B (zh) 基于变分模态分解的轨道电路传输特性定量评价方法
CN114138601A (zh) 一种业务告警方法、装置、设备及存储介质
CN107680344B (zh) 一种设备报警等级的获取方法及计算设备
CN114070711A (zh) 告警信息的处理方法、装置、电子设备及存储介质
CN113551927A (zh) 一种基于振动信号的机械设备故障预警方法和系统
CN116448234A (zh) 一种电力变压器运行状态声纹监测方法及系统
CN116668264A (zh) 一种告警聚类的根因分析方法、装置、设备及存储介质
CN113724211B (zh) 一种基于状态感应的故障自动识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination