CN112714024A - 一种网络流量分析技术 - Google Patents

一种网络流量分析技术 Download PDF

Info

Publication number
CN112714024A
CN112714024A CN202011632148.9A CN202011632148A CN112714024A CN 112714024 A CN112714024 A CN 112714024A CN 202011632148 A CN202011632148 A CN 202011632148A CN 112714024 A CN112714024 A CN 112714024A
Authority
CN
China
Prior art keywords
network traffic
data
network
risk
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011632148.9A
Other languages
English (en)
Inventor
黄龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pan Yu Network Technology Co ltd
Original Assignee
Shanghai Pan Yu Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pan Yu Network Technology Co ltd filed Critical Shanghai Pan Yu Network Technology Co ltd
Priority to CN202011632148.9A priority Critical patent/CN112714024A/zh
Publication of CN112714024A publication Critical patent/CN112714024A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种网络流量分析技术，包括以下具体步骤：S1、获取网络流量数据，得到网络流量数据集；确定网络流量数据集的风险等级；S2、创建网络流量模型，并根据网络流量数据集以及其对应的风险等级对网络流量模型进行训练，得到网络流量风险模型；S3、采集网络流量数据，输入网络流量风险模型，得到对应网络流量数据的风险等级；S4、对具有安全隐患的网络流量数据进行处理。本发明提供的网络流量分析技术能实现对网络流量数据的实时监控，对具有安全威胁的数据及时进行处理，进而保证网络数据传输过程中的安全性以及提高了网络的安全性。

Description

一种网络流量分析技术
技术领域
本发明涉及网络流量分析领域，尤其涉及一种网络流量分析技术。
背景技术
网络流量是反映网络承载的基本形态，随着网络的普及和网络使用量的与日俱增，网络流量也呈现指数式的上升；网络在带给我们便利的同时也给我们带来了一些问题。网络上的一些不良信息会对青少年的身心健康造成危害，而一些钓鱼欺诈的不良网站也有可能盗取我们的隐私信息；另外许多网络攻击都是使得网络流量产生异常，网络攻击服务器，以占用服务器大量的服务资源，从而使得合法用户无法得到服务器的响应，甚至导致服务器的瘫痪，网络流量的大小在一定程度上反映了网络的安全性，对网络流量进行可靠、有效的分析监测势在必行。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种网络流量分析技术，本发明提供的网络流量分析技术能实现对网络流量数据的实时监控，对具有安全威胁的数据及时进行处理，进而保证网络数据传输过程中的安全性以及提高了网络的安全性。
(二)技术方案
为解决上述问题，本发明提供了一种网络流量分析技术，包括以下具体步骤：
S1、获取网络流量数据，得到网络流量数据集；确定网络流量数据集的风险等级；
S2、创建网络流量模型，并根据网络流量数据集以及其对应的风险等级对网络流量模型进行训练，得到网络流量风险模型；
S3、采集网络流量数据，输入网络流量风险模型，得到对应网络流量数据的风险等级；
S4、对具有安全隐患的网络流量数据进行处理。
优选的，S4中对网络流量数据进行处理的方法，包括以下步骤：
S41、判断网络流量数据的风险等级是否达到临界值；
S42、若网络流量数据的风险等级没有达到临界值，则继续对下一组网络流量数据进行监测；
若网络流量数据的风险等级达到临界值，则将网络流量数据下发至风险等级队列；
S43、预警处理模板对风险等级队列进行采集；
S44、若在风险等级队列中没有采集到网络流量数据，继续执行S43；
若在风险等级队列中采集到网络流量数据，继续执行S45；
S45、进行报警提醒并将网络流量数据进行删除。
优选的，网络流量风险模型的训练方法，包括以下步骤：
S21、将获得的网络流量数据分为训练数据和验证数据，得到训练数据集和验证数据集；
S22、使用训练数据集以及其对应的风险等级对网络流量模型进行训练；
S23、使用验证数据集对训练得到的网络流量风险模型进行验证，得到对应验证数据集的验证风险等级；
S24、判断验证风险等级与验证数据集对应的风险等级是否一致；
若两者一致，则得到的网络流量风险模型为所需模型；
若两者不一致，执行S21。
优选的，网络流量风险模型采集机器学习的方式得到。
优选的，对获得的网络流量数据进行除杂过滤处理，并提取网络流量数据中的结构化消息体；再确定结构化消息体的向量，使用训练数据集包含的结构化消息体的向量对网络流量模型进行训练以及使用验证数据集包含的结构化消息体的向量对网络流量风险模型进行验证。
优选的，网络流量数据集的风险等级的计算公式为：
D＝∑Wx×∑Sy其中，∑Wx表示不同网络流量数据对应的权重；∑Sy表示不同网络流量数据对应的安全估值。
本发明还提供了一种网络流量分析系统，包括
网络流量数据获取模块，用于获取存储设备中以往的网络流量数据；
风险等级评判模块，用于确定网络流量数据的风险等级；
建模模块，用于创建网络流量模型；
训练模块，用于根据获取的网络流量数据对网络流量模型进行训练；
采集模块，用于实时对待监测的网络流量数据进行采集。
优选的，还包括威胁数据处理模块，用于对达到风险等级达临界值的网络流量数据进行处理。
优选的，还包括数据存储模块，用于对采集到的网络流量数据进行存储。
优选的，训练模块采用机器学习的方式对网络流量模型进行训练。
优选的，。
本发明的上述技术方案具有如下有益的技术效果：
本发明中，利用以往的网络流量数据以及其对应的风险等级。对构建的网络流量模型进行训练，进而得到网络流量风险模块；使用状态下，将采集到的网络流量数据经网络流量风险模块进行风险判断，得到网络流量对应的风险等级，从而实现对网络流量数据的实时监控，对具有安全威胁的数据及时进行处理，进而保证网络数据传输过程中的安全性以及提高了网络的安全性。
附图说明
图1为本发明提出的一种网络流量分析技术的方法流程图。
图2为本发明提出的一种网络流量分析技术中网络流量数据进行处理的方法流程图。
图3为本发明提出的一种网络流量分析系统的原理框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例1
如图1-2所示，本发明提出的一种网络流量分析技术，包括以下具体步骤：
S1、获取网络流量数据，得到网络流量数据集；确定网络流量数据集的风险等级；
S2、创建网络流量模型，并根据网络流量数据集以及其对应的风险等级对网络流量模型进行训练，得到网络流量风险模型；
S3、采集网络流量数据，输入网络流量风险模型，得到对应网络流量数据的风险等级；
S4、对具有安全隐患的网络流量数据进行处理。
本发明的一个实施例中，利用以往的网络流量数据以及其对应的风险等级。对构建的网络流量模型进行训练，进而得到网络流量风险模块；使用状态下，将采集到的网络流量数据经网络流量风险模块进行风险判断，得到网络流量对应的风险等级，从而实现对网络流量数据的实时监控，对具有安全威胁的数据及时进行处理，进而保证网络数据的安全性。
在一个可选的实施例中，S4中对网络流量数据进行处理的方法，包括以下步骤：
S41、判断网络流量数据的风险等级是否达到临界值；
S42、若网络流量数据的风险等级没有达到临界值，则继续对下一组网络流量数据进行监测；
若网络流量数据的风险等级达到临界值，则将网络流量数据下发至风险等级队列；
S43、预警处理模板对风险等级队列进行采集；
S44、若在风险等级队列中没有采集到网络流量数据，继续执行S43；
若在风险等级队列中采集到网络流量数据，继续执行S45；
S45、进行报警提醒并将网络流量数据进行删除；
使用时，制定网络流量数据风险等级的临时等级，当得到的网络流量数据的风险等级达到临界值，则判定上述网络流量数据具有威胁，将上述网络流量数据下方至风险等级队列中进行处理，以保证网络运行的安全性。
在一个可选的实施例中，网络流量风险模型的训练方法，包括以下步骤：
S21、将获得的网络流量数据分为训练数据和验证数据，得到训练数据集和验证数据集；
S22、使用训练数据集以及其对应的风险等级对网络流量模型进行训练；
S23、使用验证数据集对训练得到的网络流量风险模型进行验证，得到对应验证数据集的验证风险等级；
S24、判断验证风险等级与验证数据集对应的风险等级是否一致；
若两者一致，则得到的网络流量风险模型为所需模型；
若两者不一致，执行S21。
在一个可选的实施例中，网络流量风险模型采集机器学习的方式得到。
在一个可选的实施例中，对获得的网络流量数据进行除杂过滤处理，并提取网络流量数据中的结构化消息体；再确定结构化消息体的向量，使用训练数据集包含的结构化消息体的向量对网络流量模型进行训练以及使用验证数据集包含的结构化消息体的向量对网络流量风险模型进行验证。
在一个可选的实施例中，网络流量数据集的风险等级的计算公式为：
D＝∑Wx×∑Sy其中，∑Wx表示不同网络流量数据对应的权重；∑Sy表示不同网络流量数据对应的安全估值。
实施例2
如图3所示，本发明还提出一种网络流量分析系统，包括以下具体内容
网络流量数据获取模块，用于获取存储设备中以往的网络流量数据；
风险等级评判模块，用于确定网络流量数据的风险等级；
建模模块，用于创建网络流量模型；
训练模块，用于根据获取的网络流量数据对网络流量模型进行训练；
采集模块，用于实时对待监测的网络流量数据进行采集。
本发明的一个实施例中提出的网络流量分析系统能有效的对网络中的网络流量数据进行实时的采集分析，以对网络流量数据进行实时监测，对存在安全隐患的数据及时发现及时处理，极大的提高了网络的安全性。
在一个可选的实施例中，还包括威胁数据处理模块，用于对达到风险等级达临界值的网络流量数据进行处理。
在一个可选的实施例中，还包括数据存储模块，用于对采集到的网络流量数据进行存储，以方便后续对存储的网络流量数据进行查看。
在一个可选的实施例中，训练模块采用机器学习的方式对网络流量模型进行训练。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种网络流量分析技术，其特征在于，包括以下具体步骤：
S1、获取网络流量数据，得到网络流量数据集；确定网络流量数据集的风险等级；
S2、创建网络流量模型，并根据网络流量数据集以及其对应的风险等级对网络流量模型进行训练，得到网络流量风险模型；
S3、采集网络流量数据，输入网络流量风险模型，得到对应网络流量数据的风险等级；
S4、对具有安全隐患的网络流量数据进行处理。
2.根据权利要求1所述的一种网络流量分析技术，其特征在于，S4中对网络流量数据进行处理的方法，包括以下步骤：
S41、判断网络流量数据的风险等级是否达到临界值；
S42、若网络流量数据的风险等级没有达到临界值，则继续对下一组网络流量数据进行监测；
若网络流量数据的风险等级达到临界值，则将网络流量数据下发至风险等级队列；
S43、预警处理模板对风险等级队列进行采集；
S44、若在风险等级队列中没有采集到网络流量数据，继续执行S43；
若在风险等级队列中采集到网络流量数据，继续执行S45；
S45、进行报警提醒并将网络流量数据进行删除。
3.根据权利要求1所述的一种网络流量分析技术，其特征在于，网络流量风险模型的训练方法，包括以下步骤：
S21、将获得的网络流量数据分为训练数据和验证数据，得到训练数据集和验证数据集；
S22、使用训练数据集以及其对应的风险等级对网络流量模型进行训练；
S23、使用验证数据集对训练得到的网络流量风险模型进行验证，得到对应验证数据集的验证风险等级；
S24、判断验证风险等级与验证数据集对应的风险等级是否一致；
若两者一致，则得到的网络流量风险模型为所需模型；
若两者不一致，执行S21。
4.根据权利要求3所述的一种网络流量分析技术，其特征在于，网络流量风险模型采集机器学习的方式得到。
5.根据权利要求3所述的一种网络流量分析技术，其特征在于，对获得的网络流量数据进行除杂过滤处理，并提取网络流量数据中的结构化消息体；再确定结构化消息体的向量，使用训练数据集包含的结构化消息体的向量对网络流量模型进行训练以及使用验证数据集包含的结构化消息体的向量对网络流量风险模型进行验证。
6.根据权利要求1所述的一种网络流量分析技术，其特征在于，网络流量数据集的风险等级的计算公式为：
D＝∑Wx×∑Sy其中，∑Wx表示不同网络流量数据对应的权重；∑Sy表示不同网络流量数据对应的安全估值。
7.一种网络流量分析系统，包括权利要求1-9任一项网络流量分析技术，其特征在于，包括
网络流量数据获取模块，用于获取存储设备中以往的网络流量数据；
风险等级评判模块，用于确定网络流量数据的风险等级；
建模模块，用于创建网络流量模型；
训练模块，用于根据获取的网络流量数据对网络流量模型进行训练；
采集模块，用于实时对待监测的网络流量数据进行采集。
8.根据权利要求7所述的一种网络流量分析系统，其特征在于，还包括威胁数据处理模块，用于对达到风险等级达临界值的网络流量数据进行处理。
9.根据权利要求7所述的一种网络流量分析系统，其特征在于，还包括数据存储模块，用于对采集到的网络流量数据进行存储。
10.根据权利要求7所述的一种网络流量分析系统，其特征在于，训练模块采用机器学习的方式对网络流量模型进行训练。
CN202011632148.9A 2020-12-31 2020-12-31 一种网络流量分析技术 Pending CN112714024A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011632148.9A CN112714024A (zh) 2020-12-31 2020-12-31 一种网络流量分析技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011632148.9A CN112714024A (zh) 2020-12-31 2020-12-31 一种网络流量分析技术

Publications (1)

Publication Number Publication Date
CN112714024A true CN112714024A (zh) 2021-04-27

Family

ID=75547765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011632148.9A Pending CN112714024A (zh) 2020-12-31 2020-12-31 一种网络流量分析技术

Country Status (1)

Country Link
CN (1) CN112714024A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114116168A (zh) * 2021-11-26 2022-03-01 江苏省未来网络创新研究院 一种虚拟网络流量采集的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101621019B1 (ko) * 2015-01-28 2016-05-13 한국인터넷진흥원 시계열 통계 기반 공격의심 이상징후를 탐지하기 위한 방법
CN106411597A (zh) * 2016-10-14 2017-02-15 广东工业大学 一种网络流量异常检测方法及系统
CN106713341A (zh) * 2017-01-04 2017-05-24 成都四方伟业软件股份有限公司 一种基于大数据的网络安全预警方法与系统
CN107733921A (zh) * 2017-11-14 2018-02-23 深圳中兴网信科技有限公司 网络流量异常检测方法、装置、计算机设备和存储介质
CN107948166A (zh) * 2017-11-29 2018-04-20 广东亿迅科技有限公司 基于深度学习的流量异常检测方法及装置
CN108494806A (zh) * 2018-05-29 2018-09-04 广西电网有限责任公司 基于人工智能的网络威胁预警监测系统
CN110048962A (zh) * 2019-04-24 2019-07-23 广东工业大学 一种网络流量分类的方法、系统及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101621019B1 (ko) * 2015-01-28 2016-05-13 한국인터넷진흥원 시계열 통계 기반 공격의심 이상징후를 탐지하기 위한 방법
CN106411597A (zh) * 2016-10-14 2017-02-15 广东工业大学 一种网络流量异常检测方法及系统
CN106713341A (zh) * 2017-01-04 2017-05-24 成都四方伟业软件股份有限公司 一种基于大数据的网络安全预警方法与系统
CN107733921A (zh) * 2017-11-14 2018-02-23 深圳中兴网信科技有限公司 网络流量异常检测方法、装置、计算机设备和存储介质
CN107948166A (zh) * 2017-11-29 2018-04-20 广东亿迅科技有限公司 基于深度学习的流量异常检测方法及装置
CN108494806A (zh) * 2018-05-29 2018-09-04 广西电网有限责任公司 基于人工智能的网络威胁预警监测系统
CN110048962A (zh) * 2019-04-24 2019-07-23 广东工业大学 一种网络流量分类的方法、系统及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114116168A (zh) * 2021-11-26 2022-03-01 江苏省未来网络创新研究院 一种虚拟网络流量采集的方法

Similar Documents

Publication Publication Date Title
CN107547555B (zh) 一种网站安全监测方法及装置
CN107154950B (zh) 一种日志流异常检测的方法及系统
CN109600363B (zh) 一种物联网终端网络画像及异常网络访问行为检测方法
CN104836781B (zh) 区分访问用户身份的方法及装置
CN108471429B (zh) 一种网络攻击告警方法及系统
CN108683687B (zh) 一种网络攻击识别方法及系统
CN109960729A (zh) Http恶意流量的检测方法及系统
CN105376210B (zh) 一种账户威胁识别和防御方法及系统
CN103428183B (zh) 恶意网址的识别方法和装置
CN107968730A (zh) 监测物联网卡被盗用的方法和系统
CN111786950A (zh) 基于态势感知的网络安全监控方法、装置、设备及介质
CN109446936A (zh) 一种用于监控场景的身份识别方法及装置
CN102447707B (zh) 一种基于映射请求的DDoS检测与响应方法
CN108923972B (zh) 一种去重流量提示方法、装置、服务器及存储介质
CN109600336A (zh) 存储设备、验证码应用方法和装置
CN103279476B (zh) 一种web应用系统敏感文字的检测方法及系统
CN113407886A (zh) 网络犯罪平台识别方法、系统、设备和计算机存储介质
CN113839904A (zh) 基于智能网联汽车的安全态势感知方法和系统
CN108737193A (zh) 一种故障预测方法及装置
CN116305052A (zh) 一种基于人工智能的电子签章数据实时安全监管系统
KR101610886B1 (ko) 빅데이터에 기초하는 개인 상태 진단 방법 및 개인 상태 진단 시스템
CN115499187A (zh) Api安全监测模型训练方法、监测方法、装置及设备
CN112714024A (zh) 一种网络流量分析技术
US20190018749A1 (en) Data processing device, data processing method, and program recording medium
CN112257546B (zh) 一种事件预警方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210427