CN118041637A - 一种家庭物联网中的恶意流量检测方法、装置及存储介质 - Google Patents

一种家庭物联网中的恶意流量检测方法、装置及存储介质 Download PDF

Info

Publication number
CN118041637A
CN118041637A CN202410192600.6A CN202410192600A CN118041637A CN 118041637 A CN118041637 A CN 118041637A CN 202410192600 A CN202410192600 A CN 202410192600A CN 118041637 A CN118041637 A CN 118041637A
Authority
CN
China
Prior art keywords
data
malicious traffic
things
malicious
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410192600.6A
Other languages
English (en)
Inventor
李晋国
王政
李晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
Original Assignee
Shanghai University of Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Electric Power filed Critical Shanghai University of Electric Power
Priority to CN202410192600.6A priority Critical patent/CN118041637A/zh
Publication of CN118041637A publication Critical patent/CN118041637A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种家庭物联网中的恶意流量检测方法、装置及存储介质,方法包括以下步骤:采集家庭网关的流量数据,流量数据包含多个数据包;做数据清洗,丢弃流量数据中满足预设条件的数据包,得到待测数据;提取待测数据的统计特征;对待测数据进行会话重组,提取待测数据的签名特征,并形成DPPS序列;构造包含边集和节点集的DPTree作为签名特征,将签名特征与统计特征合并为待处理的特征值;去除空值,并进行预处理,得到包含良性流量和恶意流量的数据集;将数据集输入到模型中进行训练,得到恶意流量检测模型;部署恶意流量检测模型,接收并识别家庭网关的恶意流量。与现有技术相比,本发明具有运行成本低,检测精度高等优点。

Description

一种家庭物联网中的恶意流量检测方法、装置及存储介质
技术领域
本发明涉及网络安全领域,尤其是涉及一种家庭物联网中的恶意流量检测方法、装置及存储介质。
背景技术
随着当今社会的物联网的兴起,越来越多的设备智能化,形成了多种不同的网络生态。恶意流量是指那些带有恶意意图的网络流量,通常由黑客、病毒或恶意软件等产生。这些流量可能包含恶意代码、钓鱼链接、垃圾邮件等,旨在窃取个人信息、破坏系统或传播恶意内容。恶意流量不仅威胁个人用户的设备安全,还可能用于拦截和篡改数据,对网络安全和隐私造成威胁,因此应该被严格禁止和防范。
在真实的入侵检测系统应用场景下,往往很难获得大量恶意流量样本,一方面,恶意流量在整个网络流量数据中占比较小,另一方面,对于一些新型恶意攻击手段,很难及时获得大量样本,这导致在面对新型恶意攻击时,不能及时有效地更新模型,造成大量的漏报和误报。因此,能够快速而准确的识别出恶意流量的产生,对于防范恶意流量对物联网设备的影响非常重要。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种家庭物联网中的恶意流量检测方法、装置及存储介质。
本发明的目的可以通过以下技术方案来实现:
一种家庭物联网中的恶意流量检测方法,包括以下步骤:
S1:采集家庭网关的流量数据,所述流量数据包含多个数据包;
S2:对流量数据做数据清洗,丢弃流量数据中满足预设条件的数据包,得到待测数据;
S3:提取待测数据的统计特征;
S4:对待测数据进行会话重组,提取待测数据的签名特征,并形成DPPS序列;
S5:使用DPPS序列构造包含边集和节点集的DPTree,取DPTree的边集和节点集作为签名特征,将签名特征与统计特征合并为待处理的特征值;
S6:去除待处理的特征值中的空值,并进行标准化和热编码预处理,得到包含良性流量和恶意流量的数据集;
S7:将数据集输入到模型中进行训练,得到恶意流量检测模型;
S8:部署恶意流量检测模型到家庭网关设备中,接收并识别家庭网关的恶意流量。
进一步地,待测数据的统计特征包括基于数据包的特征和基于会话的特征。
进一步地,满足预设条件的数据包包括重复数据包、循环数据包和非传输数据包。
进一步地,步骤S4具体为:
S41:重新组装待测数据的数据包,恢复通信中的真实负载;
S42:根据重新组装的数据包,计算负载大小,形成有效载荷序列;
S43:将从客户端发送到服务器端的请求信息记为正向,将从服务器端发送到客户端的响应信息记为负向,将正向与负向标记在有效载荷序列中。
进一步地,DPPS序列包括数据包的有效负载大小和连接方向。
进一步地,数据集使用GAN方法对恶意流量进行生成,使恶意流量与良性流量的数据数量平衡,将数量平衡后的数据集输入到模型中进行训练,GAN的鉴别器代价函数表达式为:
式中,为鉴别器参数,/>为生成器参数,bs为批处理大小,i为迭代次数,z为噪声向量;
GAN的生成器代价函数表达式为:
式中,为鉴别器参数,/>为生成器参数,bs为批处理大小,x为真实数据特征向量,i为迭代次数,z为噪声向量。
进一步地,DPTree包括节点集、节点权重集合、边集和边权重集合,其中:
节点集,用于表示按层次分组的唯一DPPS序列;
节点权重集合,用于记录在级别中组织的每个唯一DPPS序列的聚集发生情况;
边集,用于表示由两个相邻层分组的两个DPPS序列的同时出现情况;
边权重集合,用于记录每两个相邻的DPPS序列同时出现的情况。
进一步地,DPTree的节点集和边集作为特征值,结合流量的统计特征,作为一个整合的特征值。
本发明的第二方面,一种家庭物联网中的恶意流量检测方法装置,包括存储器、处理器,以及存储于存储器中的程序,处理器执行程序时实现如上任一的一种家庭物联网中的恶意流量检测方法。
本发明的第三方面,一种存储介质,其上存储有程序,程序被执行时实现如上任一的一种家庭物联网中的恶意流量检测方法。
与现有技术相比,本发明具有以下有益效果:
1)本发明使用基于统计和基于签名的混合特征作为特征矩阵,对网络数据进行非线性转换,可以更加有效地分析出当前具有时序信息特征的数据,并提供高细粒度的计算,检测精度高,能够有效识别恶意流量信息。
2)本发明通过DPPS序列进行分层组织,以方便统计不同通信位置上的DPPS序列,因为频繁的DPPS序列自动生成的概率更高,因此可以通过区分每个层次上的频繁DPPS序列和不频繁DPPS序列来量化自动握手行为,本发明的层次设计可以直观合理地表示宿主行为。
3)DPTree确保了灵活的合并以有效地表示签名,除了合并DPPS序列之外,DPTree设计还可以合并由相同样本生成的不同DPTree,该特性降低了存储重复签名的次数,降低运行成本。
4)本发明使用GAN生成数据来平衡训练集,对于家庭网关数据只需采集少量恶意数据,即可训练模型,提升了恶意检测模型实用意义。
附图说明
图1为本发明的结构示意图。
图2为本发明DPTree的构造示意图。
图3为本发明GAN网络架构图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,本发明为一种家庭物联网中的恶意流量检测方法、装置及存储介质,方法包括以下步骤:
S1:采集家庭网关的流量数据,所述流量数据包含多个数据包;
首先采集一定量的不平衡数据样本为数据样本。使用wireshark网络分析软件,把家庭网关设置成本机电脑,监听家庭物联网中使用网络的设备的数据包,将流量数据保存到文件。
S2:对流量数据做数据清洗,丢弃流量数据中满足预设条件的数据包,得到待测数据;
读取流量数据,首先对数据做数据清洗,不同的协议的有效负载是不同的,握手次数也不同。所以数据清洗也根据不同协议分别处理。清洗的对象就是重复数据包、循环数据包、非传输数据包。基于5元组来识别传输会话。5元组包括源IP、目的IP、源端口、目的端口和协议对数据做会话重组。
S3:提取待测数据的统计特征;
对数据做好预处理之后,首先提取基于统计信息的特征。统计特征并不是越多越好,有些统计特征提取耗时比较长,有些特征加入会使得模型过于拟合,所以本发明选取其中比较重要的特征:会话流中的包之间的时间差、每个包的包大小(或包长度)、每个包的有效负载大小、会话流持续时间、每个会话中来自客户端/服务器的总字节、每个会话中来自客户端/服务器的包总数以及每个会话的IP包头的总长度。
S4:对待测数据进行会话重组,提取待测数据的签名特征,并形成DPPS序列;
之后提取基于签名的特征。本发明提出使用DPPS序列(DirectedPacketPayloadSized)。该序列是代表有向负载包的大小,由数据包的有效负载大小和连接中的方向组成。
根据这些重新组合的IP报文,根据上层(upper-level)协议计算负载大小,形成一个序列。该过程主要是为了减少底层(low-level)协议细节的影响,如TCP握手和SSL/TLS协商。UDP协议:使用传输有效载荷的长度;TCP协议:只在连接建立后,使用数据包中传输负载的长度;SSL/TLS协议:只使用“应用程序数据(ApplicationData)”数据包中的SSL/TLS有效负载的长度。
之后,将方向符号附加到有效载荷大小序列中。从client到server的请求信息被表述为一个正数,从server到client的响应信息被表述为一个负数。
S5:使用DPPS序列构造包含边集和节点集的DPTree,取DPTree的边集和节点集作为签名特征,将签名特征与统计特征合并为待处理的特征值;
如图2所示,通过将多个不同的DPPS序列集成到DPTree中来构建主机行为结构。对应于使用DPPS序列的握手和挥手两个部分对会话进行指纹识别,我们使用两个DPTree来表示样本的主机签名,包括一个头DPTree和一个尾DPTree。DPTree是一个加权有向无环图(WDAG),T=(N,E,CN,CE)。
节点集N:用于表示按层次(level)分组的唯一DPPS序列;
节点权重集合CN:用于记录在级别中组织的每个唯一DPPS序列的聚集发生情况;
边集E:用于表示由两个相邻层分组的两个同时出现的DPPS序列;
边权重集合CE:用于记录每两个相邻DPPS序列的同时出现情况;
S6:去除待处理的特征值中的空值,并进行标准化和热编码预处理,得到包含良性流量和恶意流量的数据集;
将DPtree的节点权重集和边权重集作为特征值,结合流量的统计特征,作为一个整合的特征值。只需少量的数据样本,输入到GAN模型,让生成器和鉴别器做训练。本方法采用100epoch训练,将生成的假数据,随机插入真实样本,再划分训练集和测试集。
如图3所示,本实施例中,使用GAN模型生成模拟流量数据用于训练:首先定义生成器和鉴别器。将从攻击数据样本即恶意流量进行取样得到的真实的数据输入鉴别器训练,得到一个初始的鉴别器。同时随机生成一个和特征值同维度的噪声数据,将噪声数据输入到生成器中,生成器输出的数据标记为假。再把生成的数据和真实的数据,一同输入到鉴别器中。鉴别器训练提高鉴别能力,生成器训练提升仿真能力,二者对抗,以此达到一个平衡状态。通过GAN模型生成模拟流量,使数据集中正常数据和恶意数据达到相对平衡的比例进行训练,可以使本发明在具有少量数据的情况下进行训练,提高模型的实际使用价值。其中,鉴别器代价函数表达式为:
式中,为鉴别器参数,/>为生成器参数,bs为批处理大小,i为迭代次数,z为噪声向量;
生成器代价函数表达式为:
式中,为鉴别器参数,/>为生成器参数,bs为批处理大小,x为真实数据特征向量,i为迭代次数,z为噪声向量。
S7:将数据集输入到模型中进行训练,得到恶意流量检测模型;
S8:部署恶意流量检测模型到家庭网关设备中,接收并识别家庭网关的恶意流量。
使用初始数据训练的模型,再部署到网关的应用中,当有新的数据生成只需要提取流量数据的特征信息,输入到模型即刻得到模型输出的结果。
本发明的第二方面,一种家庭物联网中的恶意流量检测方法装置,包括存储器、处理器,以及存储于存储器中的程序,处理器执行程序时实现如本发明实施例的一种家庭物联网中的恶意流量检测方法。用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
本发明的第三方面,一种存储介质,其上存储有程序,程序被执行时实现如本发明实施例的一种家庭物联网中的恶意流量检测方法。在本发明的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种家庭物联网中的恶意流量检测方法,其特征在于,包括以下步骤:
S1:采集家庭网关的流量数据,所述流量数据包含多个数据包;
S2:对流量数据做数据清洗,丢弃流量数据中满足预设条件的数据包,得到待测数据;
S3:提取待测数据的统计特征;
S4:对待测数据进行会话重组,提取待测数据的签名特征,并形成DPPS序列;
S5:使用DPPS序列构造包含边集和节点集的DPTree,取DPTree的边集和节点集作为签名特征,将签名特征与统计特征合并为待处理的特征值;
S6:去除待处理的特征值中的空值,并进行标准化和热编码预处理,得到包含良性流量和恶意流量的数据集;
S7:将数据集输入到模型中进行训练,得到恶意流量检测模型;
S8:部署恶意流量检测模型到家庭网关设备中,接收并识别家庭网关的恶意流量。
2.根据权利要求1所述的一种家庭物联网中的恶意流量检测方法,其特征在于,所述待测数据的统计特征包括基于数据包的特征和基于会话的特征。
3.根据权利要求1所述的一种家庭物联网中的恶意流量检测方法,其特征在于,所述满足预设条件的数据包包括重复数据包、循环数据包和非传输数据包。
4.根据权利要求1所述的一种家庭物联网中的恶意流量检测方法,其特征在于,步骤S4具体为:
S41:重新组装待测数据的数据包,恢复通信中的真实负载;
S42:根据重新组装的数据包,计算负载大小,形成有效载荷序列;
S43:将从客户端发送到服务器端的请求信息记为正向,将从服务器端发送到客户端的响应信息记为负向,将正向与负向标记在有效载荷序列中。
5.根据权利要求1所述的一种家庭物联网中的恶意流量检测方法,其特征在于,所述DPPS序列包括数据包的有效负载大小和连接方向。
6.根据权利要求1所述的一种家庭物联网中的恶意流量检测方法,其特征在于,所述数据集使用GAN方法对恶意流量进行生成,使恶意流量与良性流量的数据数量平衡,将数量平衡后的数据集输入到模型中进行训练,所述GAN的鉴别器代价函数表达式为:
式中,为鉴别器参数,/>为生成器参数,bs为批处理大小,i为迭代次数,z为噪声向量;
所述GAN的生成器代价函数表达式为:
式中,为鉴别器参数,/>为生成器参数,bs为批处理大小,x为真实数据特征向量,i为迭代次数,z为噪声向量。
7.根据权利要求1所述的一种家庭物联网中的恶意流量检测方法,其特征在于,所述DPTree包括节点集、节点权重集合、边集和边权重集合,其中:
所述节点集用于表示按层次分组的唯一DPPS序列;
所述节点权重集合用于记录在级别中组织的每个唯一DPPS序列的聚集发生情况;
所述边集用于表示由两个相邻层分组的两个DPPS序列的同时出现情况;
所述边权重集合用于记录每两个相邻的DPPS序列同时出现的情况。
8.根据权利要求7所述的一种家庭物联网中的恶意流量检测方法,其特征在于,所述DPTree的节点集和边集作为特征值,结合流量的统计特征,作为一个整合的特征值。
9.一种家庭物联网中的恶意流量检测方法装置,包括存储器、处理器,以及存储于所述存储器中的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8中任一所述的一种家庭物联网中的恶意流量检测方法。
10.一种存储介质,其上存储有程序,其特征在于,所述程序被执行时实现如权利要求1-8中任一所述的一种家庭物联网中的恶意流量检测方法。
CN202410192600.6A 2024-02-21 2024-02-21 一种家庭物联网中的恶意流量检测方法、装置及存储介质 Pending CN118041637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410192600.6A CN118041637A (zh) 2024-02-21 2024-02-21 一种家庭物联网中的恶意流量检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410192600.6A CN118041637A (zh) 2024-02-21 2024-02-21 一种家庭物联网中的恶意流量检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN118041637A true CN118041637A (zh) 2024-05-14

Family

ID=90985451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410192600.6A Pending CN118041637A (zh) 2024-02-21 2024-02-21 一种家庭物联网中的恶意流量检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN118041637A (zh)

Similar Documents

Publication Publication Date Title
CN109600363B (zh) 一种物联网终端网络画像及异常网络访问行为检测方法
Aljawarneh et al. Anomaly-based intrusion detection system through feature selection analysis and building hybrid efficient model
Ullah et al. A two-level hybrid model for anomalous activity detection in IoT networks
US8065722B2 (en) Semantically-aware network intrusion signature generator
CN107733851A (zh) 基于通信行为分析的dns隧道木马检测方法
Catak et al. Distributed denial of service attack detection using autoencoder and deep neural networks
CN109936578A (zh) 一种面向网络中https隧道流量的检测方法
Jongsuebsuk et al. Network intrusion detection with fuzzy genetic algorithm for unknown attacks
CN110611640A (zh) 一种基于随机森林的dns协议隐蔽通道检测方法
CN113965393B (zh) 一种基于复杂网络和图神经网络的僵尸网络检测方法
CN110392013A (zh) 一种基于网络流量分类的恶意软件识别方法、系统及电子设备
KR100615080B1 (ko) 컴퓨터 네트워크상에서 악성 봇과 웜에 대한 규칙기반탐지패턴을 자동 생성하기 위한 방법
CN111245784A (zh) 多维度检测恶意域名的方法
CN112800424A (zh) 一种基于随机森林的僵尸网络恶意流量监测方法
Silveira et al. Smart detection-IoT: A DDoS sensor system for Internet of Things
CN113518042B (zh) 一种数据处理方法、装置、设备及存储介质
Al-Fawa'reh et al. Detecting stealth-based attacks in large campus networks
Zhang et al. Network Traffic Anomaly Detection Based on ML‐ESN for Power Metering System
Abdelkhalek et al. Ml-based anomaly detection system for der dnp3 communication in smart grid
Yang et al. Botnet detection based on machine learning
CN109510805B (zh) 一种基于安全基线模型的网络数据安全检测方法及系统
Selim et al. DAE-BILSTM: A Fog-Based Intrusion Detection Model Using Deep Learning for IoT
CN118041637A (zh) 一种家庭物联网中的恶意流量检测方法、装置及存储介质
CN115086021A (zh) 校园网入侵检测方法、装置、设备及存储介质
Yin et al. Optimal remote access Trojans detection based on network behavior.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination