CN117176664A - 一种物联网用异常流量监控系统 - Google Patents

一种物联网用异常流量监控系统 Download PDF

Info

Publication number
CN117176664A
CN117176664A CN202311089345.4A CN202311089345A CN117176664A CN 117176664 A CN117176664 A CN 117176664A CN 202311089345 A CN202311089345 A CN 202311089345A CN 117176664 A CN117176664 A CN 117176664A
Authority
CN
China
Prior art keywords
flow
layer
data packet
internet
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311089345.4A
Other languages
English (en)
Inventor
齐越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zaozhuang Fuyuan Network Technology Co ltd
Original Assignee
Zaozhuang Fuyuan Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zaozhuang Fuyuan Network Technology Co ltd filed Critical Zaozhuang Fuyuan Network Technology Co ltd
Priority to CN202311089345.4A priority Critical patent/CN117176664A/zh
Publication of CN117176664A publication Critical patent/CN117176664A/zh
Pending legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种物联网用异常流量监控系统,属于物联网技术领域,具体包括:数据获取模块,用于监测同一系统中不同物联网设备之间的数据传输流量;特征提取模块,用于从所述数据传输流量中选取用于训练的数据包,对所述数据包进行预处理,并对预处理后的数据包进行分析,提取各个通道对应数据包的流量特征;模型构建模块,用于基于大数据构建流量分类模型,将提取的流量特征向量化,并输入所述流量分类模型中,识别流量特征对应通道传输流量的类别;流量报警模块,用于当检测到流量类别为异常流量时,发出警报并关闭所述异常流量传输通道;本发明通过训练模型,实现自动化的异常流量监测,减轻了人工监测的压力。

Description

一种物联网用异常流量监控系统
技术领域
本发明涉及物联网技术领域,具体涉及一种物联网用异常流量监控系统。
背景技术
随着物联网(IoT)技术的迅速发展,越来越多的物联网设备连接到网络并进行数据传输。这些设备可以是传感器、控制器、智能设备等,它们之间的数据传输在物联网系统中变得非常重要。然而,随着物联网的规模和复杂性不断增加,异常流量的产生也变得更加常见。异常流量可能是由于设备故障、恶意攻击、网络拥塞或其他不正常情况引起的。因此,为了保障物联网系统的稳定运行,需要一种有效的异常流量监控系统来实时监测和响应这些异常流量情况。
传统的异常流量监控方法在物联网环境中可能不再适用,因为物联网系统的复杂性和数据量巨大,无法有效地从复杂的网络环境中提取有用的特征信息,此外,由于网络环境的复杂性和不确定性,需要不断优化和调整才能达到较好的性能。因此,基于机器学习和深度学习的方法成了解决这个问题的有力手段。这些方法可以从大量的传输数据中提取特征,并建立模型来识别正常流量和异常流量。
发明内容
本发明的目的在于提供一种物联网用异常流量监控系统,解决以下技术问题:
传统的异常流量监控方法在物联网环境中可能不再适用,因为物联网系统的复杂性和数据量巨大,无法有效地从复杂的网络环境中提取有用的特征信息,此外,由于网络环境的复杂性和不确定性,需要不断优化和调整才能达到较好的性能。
本发明的目的可以通过以下技术方案实现:
一种物联网用异常流量监控系统,包括:
数据获取模块,用于监测同一系统中不同物联网设备之间的数据传输流量;
特征提取模块,用于从所述数据传输流量中选取用于训练的数据包,对所述数据包进行预处理,并对预处理后的数据包进行分析,提取各个通道对应数据包的流量特征;
模型构建模块,用于基于大数据和深度学习构建流量分类模型,将提取流量特征向量输入所述流量分类模型中,识别流量特征对应数据包的类别;
流量报警模块,用于当检测到数据包所在的传输流量为异常流量时,发出警报并关闭所述异常流量传输通道。
作为本发明进一步的方案:所述数据获取模块检测数据传输流量的过程为:
使用Wireshark应用程序,在Wireshark窗口中选择需要监测的网络设备接口,捕获流经所选网络设备接口的数据包,使用过滤器来筛选出预选设备之间的流量,实时查看源目标的IP地址、端口号和协议类型,检测是否发生异常,若异常则停止监测,否则继续。
作为本发明进一步的方案:所述特征提取模块选取数据包的过程为:
对于每个通道的所述数据传输流量,优先选取传输时间靠前的n组向量包的序列,n为正整数,并标记为数据包,对于单组向量包,提取的流量特征包括源端口、目标端口、包有效负载中的字节数、滑动窗口大小、包的间隔时间和包的方向。
作为本发明进一步的方案:所述特征提取模块对数据包进行预处理的过程为:
获取数据包中超过预设范围的异常值,将异常值删除并通过插值法进行填充;并对数据进行重采样,将采样间隔设置为ms,m为正整数;对数据包内不同类型的数据进行归一化处理。
作为本发明进一步的方案:所述模型构建模块的流量分类模型基于CNN网络和RNN网络;
所述RNN网络包括LSTM层,LSTM层由时间维度和特征向量两个维度进行矩阵训练,在RNN网络的后端设置有若干个全连接层,当上一连接层的每个节点完全向前连接到连接层的每个节点时,两个连接层完全连接;
将特征向量的时间序列所形成的矩阵看作一幅图像,在所述CNN网络中包括若干个CNN层,每个CNN层生成一个多维数组,矩阵的图像的维数被减小,但同时生成一个新的维数,新维数的大小等于应用于图像的滤波器的数量,连续的CNN层降低图像尺寸,并增加新生成的尺寸大小,将CNN网络中的张量转换为向量,将该向量作为最终全连接层的输入。
作为本发明进一步的方案:在CNN网络与RNN网络的组合模型中,保持与滤波器相关联的维数不变,在时间维度和特征向量上进行变平,将几个链式CNN层的最终张量重塑成一个矩阵,把矩阵作为RNN网络LSTM层的输入,最后一个CNN层的滤波器产生的值与特征向量等价,且将整形操作产生的扁平向作为LSTM层所需的时间维度。
作为本发明进一步的方案:在所述组合模型还包括附加的LSTM层,当几个LSTM层被连接时,除最后一层的所有LSTM层均采用返回序列模式,产生一个与循环网络的连续迭代相对应的向量序列,该向量序列按时间序列分组,形成到下一个 LSTM层的入口。
作为本发明进一步的方案:所述流量分类模型还包括附加层,所述附加层包括批量规范层、最大池化层和退出层;
所述批量规范层用于在训练时规范化处理的每个特征,通过在训练时对批处理级别上的每个特征进行归一化,将输入调整为零均值和单位方差,整个训练数据集进行重新校准,并将新学习到的零均值和方差取代原有的零均值和方差;
所述最大池化层用于使用max filter作为过滤器,应用过滤器的图像区域的最大值,结果是一个下采样输出,最大池化层提供正则化;
所述退出层用于将前一层的输出百分比设置为0,提供正则化。
本发明的有益效果:
本发明能够实时监测物联网系统中不同设备之间的数据传输流量,以及通过深度学习模型识别和分类这些流量,从而及时发现异常流量的存在;
采用了卷积神经网络(CNN)和循环神经网络(RNN)的组合模型,采用深度学习技术,系统能够处理大量的数据,并从中提取关键信息,从而提高了监测和响应的效率,这种模型能够有效地捕捉数据包的时序和空间信息,从而更准确地识别和分类异常流量;通过训练模型,系统能够适应不同类型的物联网设备和流量模式,实现自动化的异常流量监测,减轻了人工监测的压力。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1所示,本发明为一种物联网用异常流量监控系统,包括:
数据获取模块,用于监测同一系统中不同物联网设备之间的数据传输流量;
特征提取模块,用于从所述数据传输流量中选取用于训练的数据包,对所述数据包进行预处理,并对预处理后的数据包进行分析,提取各个通道对应数据包的流量特征;
模型构建模块,用于基于大数据和深度学习构建流量分类模型,将提取流量特征向量输入所述流量分类模型中,识别流量特征对应数据包的类别;
流量报警模块,用于当检测到数据包所在的传输流量为异常流量时,发出警报并关闭所述异常流量传输通道。
在本发明的一种优选的实施例中,所述数据获取模块检测数据传输流量的过程为:
使用Wireshark应用程序,在Wireshark窗口中选择需要监测的网络设备接口,捕获流经所选网络设备接口的数据包,使用过滤器来筛选出预选设备之间的流量,实时查看源目标的IP地址、端口号和协议类型,检测是否发生异常,若异常则停止监测,否则继续。
在本发明的另一种优选的实施例中,所述特征提取模块选取数据包的过程为:
对于每个通道的所述数据传输流量,优先选取传输时间靠前的n组向量包的序列,n为正整数,并标记为数据包,对于单组向量包,提取的流量特征包括源端口、目标端口、包有效负载中的字节数、滑动窗口大小、包的间隔时间和包的方向。
在本发明的另一种优选的实施例中,所述特征提取模块对数据包进行预处理的过程为:
获取数据包中超过预设范围的异常值,将异常值删除并通过插值法进行填充;并对数据进行重采样,将采样间隔设置为ms,m为正整数;对数据包内不同类型的数据进行归一化处理。
在本发明的另一种优选的实施例中,所述模型构建模块的流量分类模型基于CNN网络和RNN网络;
所述RNN网络包括LSTM层,LSTM层由时间维度和特征向量两个维度进行矩阵训练,在RNN网络的后端设置有若干个全连接层,当上一连接层的每个节点完全向前连接到连接层的每个节点时,两个连接层完全连接;
将特征向量的时间序列所形成的矩阵看作一幅图像,在所述CNN网络中包括若干个CNN层,每个CNN层生成一个多维数组,矩阵的图像的维数被减小,但同时生成一个新的维数,新维数的大小等于应用于图像的滤波器的数量,连续的CNN层降低图像尺寸,并增加新生成的尺寸大小,将CNN网络中的张量转换为向量,将该向量作为最终全连接层的输入。
CNN(卷积神经网络)主要用于图像和空间数据的处理。它的核心思想是通过卷积操作来提取输入数据中的特征,这些卷积操作会在不同的位置上滑动,从而捕捉到图像中不同区域的信息。CNN包括卷积层、池化层和全连接层。卷积层负责提取特征,池化层用于降低数据维度,全连接层用于将提取到的特征映射到输出类别。在图像识别、目标检测等任务中,CNN已经取得了显著的成功。
RNN(循环神经网络)主要用于处理序列数据,例如文本、语音和时间序列数据。与传统的神经网络不同,RNN引入了循环结构,使得网络可以在处理一个序列的同时保留之前处理的信息。这使得RNN能够捕捉序列数据中的时间依赖关系。然而,传统的RNN存在“梯度消失”和“梯度爆炸”等问题,为了解决这些问题,衍生出了一些改进型的RNN结构,如LSTM(Long Short-Term Memory)和GRU(Gated Recurrent Unit),这些结构能够更好地处理长期依赖关系。
在本实施例的一种优选的情况中,在CNN网络与RNN网络的组合模型中,保持与滤波器相关联的维数不变,在时间维度和特征向量上进行变平,将几个链式CNN层的最终张量重塑成一个矩阵,把矩阵作为RNN网络LSTM层的输入,最后一个CNN层的滤波器产生的值与特征向量等价,且将整形操作产生的扁平向作为LSTM层所需的时间维度。
进一步地,在所述组合模型还包括附加的LSTM层,当几个LSTM层被连接时,除最后一层的所有LSTM层均采用返回序列模式,产生一个与循环网络的连续迭代相对应的向量序列,该向量序列按时间序列分组,形成到下一个 LSTM层的入口。
在本实施例的另一种优选的情况中,所述流量分类模型还包括附加层,所述附加层包括批量规范层、最大池化层和退出层;
所述批量规范层用于在训练时规范化处理的每个特征,通过在训练时对批处理级别上的每个特征进行归一化,将输入调整为零均值和单位方差,整个训练数据集进行重新校准,并将新学习到的零均值和方差取代原有的零均值和方差;
所述最大池化层用于使用max filter作为过滤器,应用过滤器的图像区域的最大值,结果是一个下采样输出,最大池化层提供正则化;
所述退出层用于将前一层的输出百分比设置为0,提供正则化。
以上对本发明的一个实施例进行了详细说明,但所述内容仅为本发明的较佳实施例,不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等,均应仍归属于本发明的专利涵盖范围之内。

Claims (8)

1.一种物联网用异常流量监控系统,其特征在于,包括:
数据获取模块,用于监测同一系统中不同物联网设备之间的数据传输流量;
特征提取模块,用于从所述数据传输流量中选取用于训练的数据包,对所述数据包进行预处理,并对预处理后的数据包进行分析,提取各个通道对应数据包的流量特征;
模型构建模块,用于基于大数据和深度学习构建流量分类模型,将提取流量特征向量输入所述流量分类模型中,识别流量特征对应数据包的类别;
流量报警模块,用于当检测到数据包所在的传输流量为异常流量时,发出警报并关闭所述异常流量传输通道。
2.根据权利要求1所述的一种物联网用异常流量监控系统,其特征在于,所述数据获取模块检测数据传输流量的过程为:
使用Wireshark应用程序,在Wireshark窗口中选择需要监测的网络设备接口,捕获流经所选网络设备接口的数据包,使用过滤器来筛选出预选设备之间的流量,实时查看源目标的IP地址、端口号和协议类型,检测是否发生异常,若异常则停止监测,否则继续。
3.根据权利要求1所述的一种物联网用异常流量监控系统,其特征在于,所述特征提取模块选取数据包的过程为:
对于每个通道的所述数据传输流量,优先选取传输时间靠前的n组向量包的序列,n为正整数,并标记为数据包,对于单组向量包,提取的流量特征包括源端口、目标端口、包有效负载中的字节数、滑动窗口大小、包的间隔时间和包的方向。
4.根据权利要求1所述的一种物联网用异常流量监控系统,其特征在于,所述特征提取模块对数据包进行预处理的过程为:
获取数据包中超过预设范围的异常值,将异常值删除并通过插值法进行填充;并对数据进行重采样,将采样间隔设置为ms,m为正整数;对数据包内不同类型的数据进行归一化处理。
5.根据权利要求1所述的一种物联网用异常流量监控系统,其特征在于,所述模型构建模块的流量分类模型基于CNN网络和RNN网络;
所述RNN网络包括LSTM层,LSTM层由时间维度和特征向量两个维度进行矩阵训练,在RNN网络的后端设置有若干个全连接层,当上一连接层的每个节点完全向前连接到连接层的每个节点时,两个连接层完全连接;
将特征向量的时间序列所形成的矩阵视为一幅图像,在所述CNN网络中包括若干个CNN层,每个CNN层生成一个多维数组,矩阵的图像的维数被减小,但同时生成一个新的维数,新维数的大小等于应用于图像的滤波器的数量,连续的CNN层降低图像尺寸,并增加新生成的尺寸大小,将CNN网络中的张量转换为向量,将该向量作为最终全连接层的输入。
6.根据权利要求5所述的一种物联网用异常流量监控系统,其特征在于,在CNN网络与RNN网络的组合模型中,保持与滤波器相关联的维数不变,在时间维度和特征向量上进行变平,将几个链式CNN层的最终张量重塑成一个矩阵,把矩阵作为RNN网络LSTM层的输入,最后一个CNN层的滤波器产生的值与特征向量等价,且将整形操作产生的扁平向作为LSTM层所需的时间维度。
7.根据权利要求6所述的一种物联网用异常流量监控系统,其特征在于,在所述组合模型还包括附加的LSTM层,当几个LSTM层被连接时,除最后一层的所有LSTM层均采用返回序列模式,产生一个与循环网络的连续迭代相对应的向量序列,该向量序列按时间序列分组,形成到下一个 LSTM层的入口。
8.根据权利要求4所述的一种物联网用异常流量监控系统,其特征在于,所述流量分类模型还包括附加层,所述附加层包括批量规范层、最大池化层和退出层;
所述批量规范层用于在训练时规范化处理的每个特征,通过在训练时对批处理级别上的每个特征进行归一化,将输入调整为零均值和单位方差,整个训练数据集进行重新校准,并将新学习到的零均值和方差取代原有的零均值和方差;
所述最大池化层用于使用max filter作为过滤器,选择应用过滤器的图像区域的最大值,提供一个降采样的输出;
所述退出层用于通过前一层的输出百分比设置为0来提供正则化。
CN202311089345.4A 2023-08-28 2023-08-28 一种物联网用异常流量监控系统 Pending CN117176664A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311089345.4A CN117176664A (zh) 2023-08-28 2023-08-28 一种物联网用异常流量监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311089345.4A CN117176664A (zh) 2023-08-28 2023-08-28 一种物联网用异常流量监控系统

Publications (1)

Publication Number Publication Date
CN117176664A true CN117176664A (zh) 2023-12-05

Family

ID=88942374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311089345.4A Pending CN117176664A (zh) 2023-08-28 2023-08-28 一种物联网用异常流量监控系统

Country Status (1)

Country Link
CN (1) CN117176664A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117544416A (zh) * 2023-12-28 2024-02-09 东莞本凡网络技术有限公司 一种智能物联网异常流量预测系统
CN117938916A (zh) * 2024-02-29 2024-04-26 中铁四局集团有限公司 一种基于大数据的物联设备智能调度方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111431819A (zh) * 2020-03-06 2020-07-17 中国科学院深圳先进技术研究院 一种基于序列化的协议流特征的网络流量分类方法和装置
CN112804253A (zh) * 2021-02-04 2021-05-14 湖南大学 一种网络流量分类检测方法、系统及存储介质
CN114615093A (zh) * 2022-05-11 2022-06-10 南京信息工程大学 基于流量重构与继承学习的匿名网络流量识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111431819A (zh) * 2020-03-06 2020-07-17 中国科学院深圳先进技术研究院 一种基于序列化的协议流特征的网络流量分类方法和装置
CN112804253A (zh) * 2021-02-04 2021-05-14 湖南大学 一种网络流量分类检测方法、系统及存储介质
CN114615093A (zh) * 2022-05-11 2022-06-10 南京信息工程大学 基于流量重构与继承学习的匿名网络流量识别方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117544416A (zh) * 2023-12-28 2024-02-09 东莞本凡网络技术有限公司 一种智能物联网异常流量预测系统
CN117544416B (zh) * 2023-12-28 2024-04-30 东莞本凡网络技术有限公司 一种智能物联网异常流量预测系统
CN117938916A (zh) * 2024-02-29 2024-04-26 中铁四局集团有限公司 一种基于大数据的物联设备智能调度方法及系统
CN117938916B (zh) * 2024-02-29 2024-06-07 中铁四局集团有限公司 一种基于大数据的物联设备智能调度方法及系统

Similar Documents

Publication Publication Date Title
CN117176664A (zh) 一种物联网用异常流量监控系统
CN114615093B (zh) 基于流量重构与继承学习的匿名网络流量识别方法及装置
CN110704842A (zh) 一种恶意代码家族分类检测方法
CN112738014B (zh) 一种基于卷积时序网络的工控流量异常检测方法及系统
CN113095370B (zh) 图像识别方法、装置、电子设备及存储介质
CN112100614A (zh) 一种基于cnn_lstm的网络流量异常检测方法
CN114039901A (zh) 基于残差网络和循环神经网络混合模型的协议识别方法
CN109446804B (zh) 一种基于多尺度特征连接卷积神经网络的入侵检测方法
CN109639734B (zh) 一种具有计算资源自适应性的异常流量检测方法
CN112949702B (zh) 一种网络恶意加密流量识别方法和系统
CN112910881A (zh) 一种基于通信协议的数据监控方法及系统
CN115277888B (zh) 一种移动应用加密协议报文类型解析方法及系统
CN115037805B (zh) 一种基于深度聚类的未知网络协议识别方法、系统、装置及存储介质
CN117113262B (zh) 网络流量识别方法及其系统
CN112995150A (zh) 一种基于cnn-lstm融合的僵尸网络检测方法
CN115396204A (zh) 一种基于序列预测的工控网络流量异常检测方法及装置
CN117156442B (zh) 基于5g网络的云数据安全保护方法及系统
CN114124447A (zh) 一种基于Modbus数据包重组的入侵检测方法及装置
CN115242458B (zh) 一种基于shap的1d-cnn网络流量分类模型的可解释方法
CN114979017A (zh) 基于工控系统原始流量的深度学习协议识别方法及系统
CN115578325A (zh) 一种基于通道注意配准网络的图像异常检测方法
CN111586052B (zh) 一种基于多层级的群智合约异常交易识别方法及识别系统
CN113328986A (zh) 基于卷积神经网络与lstm结合的网络流量异常检测方法
CN114726800B (zh) 一种基于模型解释的规则式应用流量分类方法及系统
CN113660193B (zh) 一种软件定义网络中基于数据面网络特征采集的DDoS攻击检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination