CN110677386A - 一种基于大数据的异常流量监测和预测方法及装置 - Google Patents
一种基于大数据的异常流量监测和预测方法及装置 Download PDFInfo
- Publication number
- CN110677386A CN110677386A CN201910809951.6A CN201910809951A CN110677386A CN 110677386 A CN110677386 A CN 110677386A CN 201910809951 A CN201910809951 A CN 201910809951A CN 110677386 A CN110677386 A CN 110677386A
- Authority
- CN
- China
- Prior art keywords
- flow
- module
- data
- abnormal
- chip microcomputer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于大数据的异常流量监测和预测方法及装置，具体包括以下步骤：S1、对原始网络数据流量进行采集，在一段时间内进行数据流量监测；本发明涉及网络安全技术领域。该基于大数据的异常流量监测和预测方法及装置，通过网络数据流量的输出端与阈值对比模块的输入端连接，阈值对比模块的输出端与单片机的输入端连接，单片机与数据库之间实现双向连接，并且单片机与数据对比模块之间实现双向连接，单片机的输出端分别与一级告警、二级告警和三级告警的输入端连接，对异常流量与计算出的阈值进行对比，根据异常流量与阈值比较后的异常程度不同，进行不同等级的告警，让工作人员可以清楚地了解到流量异常程度。
Description
技术领域
本发明涉及网络安全技术领域，具体为一种基于大数据的异常流量监测和预测方法及装置。
背景技术
网络流量异常指网络中流量不规则的显著变化，如网络短暂拥塞、分布式拒绝服务攻击、大范围扫描等本地事件或者网络路由异常等全局事件，网络流量异常的监测和分析对网络安全应急响应部门而言非常重要，但是由于宏观流量异常监测比较困难，需要从大量高维的富含噪声的数据中提取和解释异常模式，使得对于网络异常的监测和分析仍然是一个极大的挑战。
现有IP流量分析仪采用的技术存在如下缺陷：流量分析仪采用固定阈值监测异常流量，对于具有复杂的非线性特性和随机性，且随时间、事件、用户行为等因素影响较大的软交换信令流量或语音流量，固定阈值的方法并不适用，由于软交换信令流量或语音流量并不是恒定不变的一个常数，如果采用固定阈值监测异常流量，当阈值定义范围过小会频繁产生虚警，造成维护人员不必要的工作量。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于大数据的异常流量监测和预测方法及装置，解决了采用固定阈值监测异常流量，当阈值定义范围过小会频繁产生虚警，造成维护人员不必要的工作量的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于大数据的异常流量监测和预测方法，具体包括以下步骤：
S1、对原始网络数据流量进行采集，在一段时间内进行数据流量监测；
S2、以一周时间为一个序列，在一个序列中以一个滑动窗为参照，检测该滑动窗下一个相邻的观测值是否发生异常变化，根据检测到的点是否落到自适应阈值上下的置信区间内判断当前点是否异常，当变化幅度超出置信区间时就认为这个观测值是异常的，当滑动窗在序列中一步一步顺次向前移动时，流量观测值序列中的每个点都将被检测到，从SNMP管理信息库MIB中定时读取接口组变量:ifInOctets(B/s),ifOutOctets(B/s)及IP组变量:ipForwDatagrams(packetUs),ipInReceives(packetUs)，采用滑动窗口模型，用于接收管理信息库中最新的N(滑动窗口大小)个数据，随着数据不断到达，统计信息不断更新，窗口数据不断平移，对滑动窗口中的MIB变量，即对接口组变量和IP组变量中的4个变量进行定时采样，然后按时间顺序分别排列成一个时间序列,这样每个时间序列就是一个流量观测值序列，采样的时间尺度可以是毫秒、秒、分、小时等，最后确定自适应阈值U(t+1)和L(t+1)；
S3、对采集的网络数据流量节点进行判定，判定进流量是否等于出流量，若进流量等于出流量，则流量节点为管节点，若进流量不等于出流量，那么进一步对流量节点进行判定，若进流量小于出流量，则流量节点为云节点，若进流量不小于出流量，则流量节点为端节点；
S4、网络数据流量在经过与阈值对比模块的对比后，将信息传递给单片机，利用单片机对接收的信息通过数据对比模块对数据库中的告警划分等级进行对比，经过的等级划分对比后单片机控制一级告警、二级告警和三级告警进行告警。
优选的，还公开了一种基于大数据的异常流量监测和预测装置，包括网络数据流量和中央控制中心，所述网络数据流量的输出端与阈值对比模块的输入端连接，所述阈值对比模块的输出端与单片机的输入端连接。
优选的，所述单片机与数据库之间实现双向连接，并且单片机与数据对比模块之间实现双向连接。
优选的，所述单片机的输出端分别与一级告警、二级告警和三级告警的输入端连接。
优选的，所述中央控制中心与管理信息库之间实现双向连接，并且中央控制中心与信息调取模块之间实现双向连接。
优选的，所述中央控制中心的输入端与信息采集模块的输出端连接，并且中央控制中心的输出端分别与接口组变量模块和IP组变量模块的输入端连接。
优选的，所述接口组变量模块与IP组变量模块的输出端均与变量数据整合模块的输入端连接。
优选的，所述变量数据整合模块的输出端与变量数据计算模块的输入端连接，所述变量数据计算模块的输出端与自适应阈值确定模块。
(三)有益效果
本发明提供了一种基于大数据的异常流量监测和预测方法及装置。与现有技术相比具备以下有益效果：
(1)、该基于大数据的异常流量监测和预测方法及装置，通过网络数据流量的输出端与阈值对比模块的输入端连接，阈值对比模块的输出端与单片机的输入端连接，单片机与数据库之间实现双向连接，并且单片机与数据对比模块之间实现双向连接，单片机的输出端分别与一级告警、二级告警和三级告警的输入端连接，这样可以对异常流量与计算出的阈值进行对比，根据异常流量与阈值比较后的异常程度不同，进行不同等级的告警，让工作人员可以清楚地了解到流量异常程度。
(2)、该基于大数据的异常流量监测和预测方法及装置，通过中央控制中心与管理信息库之间实现双向连接，并且中央控制中心与信息调取模块之间实现双向连接，中央控制中心的输入端与信息采集模块的输出端连接，并且中央控制中心的输出端分别与接口组变量模块和IP组变量模块的输入端连接，这样可以对管理信息库中的流量数据进行调取和采集，方便的对流量异常阈值进行信息采集。
(3)、该基于大数据的异常流量监测和预测方法及装置，通过接口组变量模块与IP组变量模块的输出端均与变量数据整合模块的输入端连接，变量数据整合模块的输出端与变量数据计算模块的输入端连接，变量数据计算模块的输出端与自适应阈值确定模块，这样可以方便的对流量异常阈值进行数据整合，再经过计算确定自适应阈值，方便对异常流量的监测和预测。
附图说明
图1为本发明的步骤流程图；
图2为本发明中步骤S2的流程图；
图3为本发明中判定网络节点类型的流程图；
图4为本发明系统的结构原理框图；
图5为本发明阈值对比模块的结构原理框图。
图中，1-网络数据流量、2-中央控制中心、3-阈值对比模块、4-单片机、5-数据库、6-数据对比模块、7-一级告警、8-二级告警、9-三级告警、10-管理信息库、11-信息调取模块、12-信息采集模块、13-接口组变量模块、14-IP组变量模块、15-变量数据整合模块、16-变量数据计算模块、17-自适应阈值确定模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-5，本发明实施例提供一种技术方案：一种基于大数据的异常流量监测和预测方法，具体包括以下步骤：
S1、对原始网络数据流量进行采集，在一段时间内进行数据流量监测；
S2、以一周时间为一个序列，在一个序列中以一个滑动窗为参照，检测该滑动窗下一个相邻的观测值是否发生异常变化，根据检测到的点是否落到自适应阈值上下的置信区间内判断当前点是否异常，当变化幅度超出置信区间时就认为这个观测值是异常的，当滑动窗在序列中一步一步顺次向前移动时，流量观测值序列中的每个点都将被检测到，从SNMP管理信息库MIB中定时读取接口组变量:ifInOctets(B/s),ifOutOctets(B/s)及IP组变量:ipForwDatagrams(packetUs),ipInReceives(packetUs)，分别表示设备按口每秒接收到和发送的字节数、路由器每秒接收和转发的数据包数，采用滑动窗口模型，用于接收管理信息库中最新的N(滑动窗口大小)个数据，随着数据不断到达，统计信息不断更新，窗口数据不断平移，对滑动窗口中的MIB变量，即对接口组变量和IP组变量中的4个变量进行定时采样，然后按时间顺序分别排列成一个时间序列,这样每个时间序列就是一个流量观测值序列，采样的时间尺度可以是毫秒、秒、分、小时等，把前一天的行为叠加进来:p(+1)＝a[yxmn-yiwntYan]，其中，p(t+1)是时刻+1的阈值预测值，即+1时刻正常模型；yuw是t时刻的观测值；yuv，是t+1时刻的观测值；a是加权常数，它控制断数据在模型中所占的比重，控制模型适应局部行为的快慢程度，最后确定自适应阈值U(t+1)和L(t+1)；
S3、对采集的网络数据流量节点进行判定，判定进流量是否等于出流量，若进流量等于出流量，则流量节点为管节点，若进流量不等于出流量，那么进一步对流量节点进行判定，若进流量小于出流量，则流量节点为云节点，若进流量不小于出流量，则流量节点为端节点；
S4、网络数据流量1在经过与阈值对比模块3的对比后，将信息传递给单片机4，利用单片机4对接收的信息通过数据对比模块6对数据库5中的告警划分等级进行对比，经过的等级划分对比后单片机4控制一级告警7、二级告警8和三级告警9进行告警。
本发明中，还公开了一种基于大数据的异常流量监测和预测装置，包括网络数据流量1和中央控制中心2，网络数据流量1的输出端与阈值对比模块3的输入端连接，阈值对比模块3的输出端与单片机4的输入端连接，单片机4与中央控制中心2的型号均采用SPCE061A。
本发明中，单片机4与数据库5之间实现双向连接，并且单片机4与数据对比模块6之间实现双向连接，数据对比模块6的型号为ED051，数据库5的型号为JTIU35，。
本发明中，单片机4的输出端分别与一级告警7、二级告警8和三级告警9的输入端连接。
本发明中，中央控制中心2与管理信息库10之间实现双向连接，并且中央控制中心2与信息调取模块11之间实现双向连接。
本发明中，中央控制中心2的输入端与信息采集模块12的输出端连接，并且中央控制中心2的输出端分别与接口组变量模块13和IP组变量模块14的输入端连接。
本发明中，接口组变量模块13与IP组变量模块14的输出端均与变量数据整合模块15的输入端连接。
本发明中，变量数据整合模块15的输出端与变量数据计算模块16的输入端连接，变量数据计算模块16的输出端与自适应阈值确定模块17。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种基于大数据的异常流量监测和预测方法，其特征在于：具体包括以下步骤：
S1、对原始网络数据流量进行采集，在一段时间内进行数据流量监测；
S2、以一周时间为一个序列，在一个序列中以一个滑动窗为参照，检测该滑动窗下一个相邻的观测值是否发生异常变化，根据检测到的点是否落到自适应阈值上下的置信区间内判断当前点是否异常，当变化幅度超出置信区间时就认为这个观测值是异常的，当滑动窗在序列中一步一步顺次向前移动时，流量观测值序列中的每个点都将被检测到，从SNMP管理信息库MIB中定时读取接口组变量:ifInOctets(B/s),ifOutOctets(B/s)及IP组变量:ipForwDatagrams(packetUs),ipInReceives(packetUs)，采用滑动窗口模型，用于接收管理信息库中最新的N(滑动窗口大小)个数据，随着数据不断到达，统计信息不断更新，窗口数据不断平移，对滑动窗口中的MIB变量，即对接口组变量和IP组变量中的4个变量进行定时采样，然后按时间顺序分别排列成一个时间序列,这样每个时间序列就是一个流量观测值序列，采样的时间尺度可以是毫秒、秒、分、小时等，最后确定自适应阈值U(t+1)和L(t+1)；
S3、对采集的网络数据流量节点进行判定，判定进流量是否等于出流量，若进流量等于出流量，则流量节点为管节点，若进流量不等于出流量，那么进一步对流量节点进行判定，若进流量小于出流量，则流量节点为云节点，若进流量不小于出流量，则流量节点为端节点；
S4、网络数据流量(1)在经过与阈值对比模块(3)的对比后，将信息传递给单片机(4)，利用单片机(4)对接收的信息通过数据对比模块(6)对数据库(5)中的告警划分等级进行对比，经过的等级划分对比后单片机(4)控制一级告警(7)、二级告警(8)和三级告警(9)进行告警。
2.一种基于大数据的异常流量监测和预测装置，包括网络数据流量(1)和中央控制中心(2)，其特征在于：所述网络数据流量(1)的输出端与阈值对比模块(3)的输入端连接，所述阈值对比模块(3)的输出端与单片机(4)的输入端连接。
3.根据权利要求2所述的一种基于大数据的异常流量监测和预测装置，其特征在于：所述单片机(4)与数据库(5)之间实现双向连接，并且单片机(4)与数据对比模块(6)之间实现双向连接。
4.根据权利要求2所述的一种基于大数据的异常流量监测和预测装置，其特征在于：所述单片机(4)的输出端分别与一级告警(7)、二级告警(8)和三级告警(9)的输入端连接。
5.根据权利要求2所述的一种基于大数据的异常流量监测和预测装置，其特征在于：所述中央控制中心(2)与管理信息库(10)之间实现双向连接，并且中央控制中心(2)与信息调取模块(11)之间实现双向连接。
6.根据权利要求2所述的一种基于大数据的异常流量监测和预测装置，其特征在于：所述中央控制中心(2)的输入端与信息采集模块(12)的输出端连接，并且中央控制中心(2)的输出端分别与接口组变量模块(13)和IP组变量模块(14)的输入端连接。
7.根据权利要求6所述的一种基于大数据的异常流量监测和预测装置，其特征在于：所述接口组变量模块(13)与IP组变量模块(14)的输出端均与变量数据整合模块(15)的输入端连接。
8.根据权利要求7所述的一种基于大数据的异常流量监测和预测装置，其特征在于：所述变量数据整合模块(15)的输出端与变量数据计算模块(16)的输入端连接，所述变量数据计算模块(16)的输出端与自适应阈值确定模块(17)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910809951.6A CN110677386A (zh) | 2019-08-29 | 2019-08-29 | 一种基于大数据的异常流量监测和预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910809951.6A CN110677386A (zh) | 2019-08-29 | 2019-08-29 | 一种基于大数据的异常流量监测和预测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110677386A true CN110677386A (zh) | 2020-01-10 |
Family
ID=69075694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910809951.6A Pending CN110677386A (zh) | 2019-08-29 | 2019-08-29 | 一种基于大数据的异常流量监测和预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110677386A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112367322A (zh) * | 2020-11-10 | 2021-02-12 | 西安热工研究院有限公司 | 一种基于冒泡排序法的电站工控系统异常流量识别方法 |
| CN115174254A (zh) * | 2022-07-22 | 2022-10-11 | 科来网络技术股份有限公司 | 流量异常告警方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160219067A1 (en) * | 2015-01-28 | 2016-07-28 | Korea Internet & Security Agency | Method of detecting anomalies suspected of attack, based on time series statistics |
| CN106506242A (zh) * | 2016-12-14 | 2017-03-15 | 北京东方棱镜科技有限公司 | 一种网络异常行为和流量监测的精确定位方法与系统 |
| CN107013156A (zh) * | 2017-06-08 | 2017-08-04 | 重庆艾申特电子科技有限公司 | 一种智能安防窗帘系统 |
| CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
-
2019
- 2019-08-29 CN CN201910809951.6A patent/CN110677386A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160219067A1 (en) * | 2015-01-28 | 2016-07-28 | Korea Internet & Security Agency | Method of detecting anomalies suspected of attack, based on time series statistics |
| CN106506242A (zh) * | 2016-12-14 | 2017-03-15 | 北京东方棱镜科技有限公司 | 一种网络异常行为和流量监测的精确定位方法与系统 |
| CN107013156A (zh) * | 2017-06-08 | 2017-08-04 | 重庆艾申特电子科技有限公司 | 一种智能安防窗帘系统 |
| CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 曹敏: ""基于网络异常流量的突发毁击事件检测技术研究与应用"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112367322A (zh) * | 2020-11-10 | 2021-02-12 | 西安热工研究院有限公司 | 一种基于冒泡排序法的电站工控系统异常流量识别方法 |
| CN112367322B (zh) * | 2020-11-10 | 2022-09-30 | 西安热工研究院有限公司 | 一种基于冒泡排序法的电站工控系统异常流量识别方法 |
| CN115174254A (zh) * | 2022-07-22 | 2022-10-11 | 科来网络技术股份有限公司 | 流量异常告警方法、装置、电子设备及存储介质 |
| CN115174254B (zh) * | 2022-07-22 | 2023-10-31 | 科来网络技术股份有限公司 | 流量异常告警方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9680693B2 (en) | Method and apparatus for network anomaly detection | |
| CN102447570B (zh) | 一种基于健康度分析的监控装置及方法 | |
| KR20180120558A (ko) | 딥러닝 기반 통신망 장비의 장애 예측 시스템 및 방법 | |
| CN100356729C (zh) | 监控网络业务性能的方法及系统 | |
| CN109992440A (zh) | 一种基于知识图谱和机器学习的it根故障分析识别方法 | |
| JP2014060722A (ja) | 将来のネットワーク攻撃を検知及び予測するために、様々な指標と過去の攻撃事例を相関させ、攻撃に関する指標のプロファイルを作成するシステム及び方法 | |
| CN111049843A (zh) | 一种智能变电站网络异常流量分析方法 | |
| CN110677386A (zh) | 一种基于大数据的异常流量监测和预测方法及装置 | |
| US20200143648A1 (en) | Method and apparatus for tiered analytics in a multi-sensor environment | |
| CN101170729A (zh) | 一种gsm网络预警分析系统及网络预警分析方法 | |
| CN110730234A (zh) | 一种电气火灾监控系统及其智能预警分析方法 | |
| CN104734916A (zh) | 一种基于tcp协议的高效多级异常流量检测方法 | |
| CN106330588A (zh) | 一种bfd检测方法与装置 | |
| CN106452941A (zh) | 网络异常的检测方法及装置 | |
| CN106936621A (zh) | 一种工单风暴控制方法、装置及系统 | |
| CN108809706B (zh) | 一种变电站的网络风险监测系统 | |
| CN105763387A (zh) | 网络流量监控方法和装置 | |
| US8509093B2 (en) | Outage analysis system | |
| CN115542754A (zh) | 一种家庭网关智能控制系统 | |
| WO2017059904A1 (en) | Anomaly detection in a data packet access network | |
| CN105634781B (zh) | 一种多故障数据解耦方法和装置 | |
| CN117614487A (zh) | 一种基于北斗系统的输电线路通信方法及系统 | |
| CN110602070A (zh) | 一种网络安全的自动配置管理系统及方法 | |
| CN111092861A (zh) | 一种通信网络安全预测系统 | |
| KR101027242B1 (ko) | 공정 제어 네트워크에서의 장애 예측 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |