CN114567511B - 一种基于宽度学习的轻量级恶意流量检测方法及装置 - Google Patents

一种基于宽度学习的轻量级恶意流量检测方法及装置 Download PDF

Info

Publication number
CN114567511B
CN114567511B CN202210404385.2A CN202210404385A CN114567511B CN 114567511 B CN114567511 B CN 114567511B CN 202210404385 A CN202210404385 A CN 202210404385A CN 114567511 B CN114567511 B CN 114567511B
Authority
CN
China
Prior art keywords
data
detection classification
classification model
target
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210404385.2A
Other languages
English (en)
Other versions
CN114567511A (zh
Inventor
王滨
王伟
陈加栋
王星
张峰
和旭东
钱亚冠
邵程铖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202210404385.2A priority Critical patent/CN114567511B/zh
Publication of CN114567511A publication Critical patent/CN114567511A/zh
Application granted granted Critical
Publication of CN114567511B publication Critical patent/CN114567511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本申请实施例公开了一种基于宽度学习的轻量级恶意流量检测方法及装置。本申请中采用具有线性特征数据和非线性特征数据的目标训练数据X训练初始流量检测分类模型,使得训练模型时采用的神经网络的宽度会更宽,进而使得训练模型时也不需要多层连接的神经网络,所以初始流量检测分类模型的训练过程中的计算量将会更小、训练速度也会更快,对设备的要求也会比较低,更适用于具备有限资源的物联网设备。同时本方案训练得到的目标流量检测分类模型对恶意流量的检测速度也更快,可以满足恶意流量检测的实时性要求。以及由于本方案应用于更靠近物联网中执行业务的各物联网设备的边缘网关设备,可以更及时地通知物联网设备阻断恶意流量。

Description

一种基于宽度学习的轻量级恶意流量检测方法及装置
技术领域
本申请涉及宽度学习领域,特别涉及一种基于宽度学习的轻量级恶意流量检测方法及装置。
背景技术
在诸如智慧医疗的物联网场景中,如果物联网网络遭受到恶意流量的攻击,将会造成极大的财产损失,甚至危及人身生命安全,因此在诸如智慧医疗的物联网场景中及时发现恶意流量是十分重要的。
但是物联网设备的计算能力和通信能力都比较有限,而为了保证物联网网络的安全,对恶意流量的检测则对实时性的要求比较高,只有及时检测到恶意流量,才能在较短时间内阻断恶意流量,保障物联网网络的安全。因此,为了达到恶意流量检测对实时性的高要求,提供一种更加高效的、适用于具备有限资源的物联网设备的恶意流量检测方法,以减少检测恶意流量的时间开销,提高恶意流量检测的实时性是亟需的。
发明内容
本申请公开了一种基于宽度学习的轻量级恶意流量检测方法及装置,提供了一种高效的、适用于具备有限资源的物联网设备的恶意流量检测方法。
根据本申请实施例的第一方面,提供一种基于宽度学习的轻量级恶意流量检测方法,该方法应用于物联网中的流量监测设备,所述方法包括:
获得训练集,所述训练集中包含同一时间窗口的初始训练数据,所述初始训练数据与所述时间窗口监测到的流量数据有关;
利用初始流量检测分类模型中的线性特征节点按照所述线性特征节点被配置的系数矩阵对初始训练数据进行所述线性特征节点被赋予的特征运算得到特征运算结果;
利用初始流量检测分类模型中的增强节点按照所述增强节点被配置的系数矩阵对初始训练数据和/或所述特征运算结果进行所述增强节点被赋予的增强运算得到增强运算结果;
将所述增强运算结果和所述特征运算结果作为所述初始流量检测分类模型的目标训练数据X,依据所述目标训练数据X将所述初始流量检测分类模型训练为所述时间窗口对应的候选流量检测分类模型;
从不同时间窗口对应的候选流量检测分类模型中选择目标流量检测分类模型,所述目标流量检测分类模型用于检测恶意流量。
根据本申请实施例的第二方面,提供一种基于宽度学习的轻量级恶意流量检测装置,该装置应用于物联网中的边缘网关设备,所述装置包括:
训练集获得模块,用于获得训练集,所述训练集中包含同一时间窗口的初始训练数据,所述初始训练数据与所述时间窗口监测到的流量数据有关;
特征运算模块,用于利用初始流量检测分类模型中的线性特征节点按照所述线性特征节点被配置的系数矩阵对初始训练数据进行所述线性特征节点被赋予的特征运算得到特征运算结果;
增强运算模块,用于利用初始流量检测分类模型中的增强节点按照所述增强节点被配置的系数矩阵对初始训练数据和/或所述特征运算结果进行所述增强节点被赋予的增强运算得到增强运算结果;
模型训练模块,用于将所述增强运算结果和所述特征运算结果作为所述初始流量检测分类模型的目标训练数据X,依据所述目标训练数据X将所述初始流量检测分类模型训练为所述时间窗口对应的候选流量检测分类模型;
模型选择模块,用于从不同时间窗口对应的候选流量检测分类模型中选择目标流量检测分类模型,所述目标流量检测分类模型用于检测恶意流量。
本申请的实施例提供的技术方案可以包括以下有益效果:
由以上技术方案可知,本申请提供的方案在训练候选流量检测分类模型时,采用的目标训练数据X包括初始流量检测分类模型中的线性特征节点得到的特征运算结果、以及初始流量检测分类模型中的增强节点得到的增强运算结果,即目标训练数据X既具有线性特征数据,又具有非线性特征数据。因此,基于目标训练数据X对初始流量检测分类模型进行训练时,训练采用的神经网络的宽度相比直接利用初始训练数据对模型进行训练时采用的多层神经网络的宽度更宽,训练时也不需要该神经网络再与其他神经网络进行多层连接,所以本方案中的模型训练时的计算量更小、训练速度也更快,对设备的要求也更低,更适用于具备有限资源的物联网设备。同时利用本方案得到的目标流量检测分类模型更轻量级、对恶意流量的检测速度也更快,可以满足物联网设备对恶意流量检测的实时性要求。另外,本申请提供的方案可以应用于更靠近物联网中执行业务的各物联网设备的边缘网关设备,所以可以进一步减少通知物联网设备阻断恶意流量时的数据传输的时间开销,提高阻断恶意流量的及时性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。
图1是本申请实施例提供的一种基于宽度学习的轻量级恶意流量检测方法的方法流程图;
图2是本申请实施例提供的确定目标流量检测分类模型的流程示意图;
图3是本申请实施例提供的一种基于宽度学习的轻量级恶意流量检测方法的装置示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
参见图1,图1为本申请实施例提供的一种基于宽度学习的轻量级恶意流量检测方法的方法流程图。作为一个实施例,图1所示的流程可以应用于物联网中的边缘网关设备。
作为一个实施例,该边缘网关设备是指物联网架构“云-边-端”中的“边”,该架构中的“云”指云端,“边”指边缘网关设备,“端”指物联网中的用于执行业务的各物联网设备,边缘网关设备一般被部署在靠近各物联网设备的地方。其中,边缘网关设备用于实现云端和物联网设备之间的交互、以及不同物联网设备之间的交互,因此,本实施例中的边缘网关设备还用于监测物联网设备在物联网网络中交互的本地流量数据、以及物联网设备与云端在公网中交互的公网流量数据。
示例性的,以智能医疗场景为例,可以通过将床旁智能平板终端、物联网扫描枪、输液监测器、护士站智慧大屏等物联网设备连接到同一物联网网络,完成床旁交互、输液监测、移动护理等系统的建设。其中,上述智能医疗场景中各系统的建设可以通过在床旁智能平板终端、物联网扫描枪、输液监测器、护士站智慧大屏等物联网设备的附近部署边缘网关设备,通过边缘网关设备将各物联网设备接入到同一物联网网络,同时,通过该边缘网关设备在各物联网设备和公网中的云端之间建立通信连接。
作为一个实施例,物联网设备之间进行交互可以通过物联网网络,比如由输液监测器通过物联网网络将检测到的输液数据传输到护士站智慧大屏,云端与物联网设备之间进行交互则需要通过公网,比如床旁智能平板终端从云端下载用于识别语音的语音识别安装包。通过上述智能医疗场景的物联网网络中建设的各系统,可以使医疗人员的护理工作更加可监测、在线化、标准化,使医疗人员可以更快地了解病人的护理等级、生命体征和医疗需求等基本情况,以及使医疗人员可以通过上述各系统对病人出现的异常情况等快速作出反应,以提高医疗的服务质量,提升医护管理的效率等。
但是如上述智能医疗场景中的物联网设备可能会被恶意软件感染,或者被恶意攻击,进而导致物联网设备出现错报数据、漏报数据、信息泄露等问题,这将会造成极大的财产损失,如果该物联网设备为医疗设备,则医疗设备被恶意软件感染,或者被恶意攻击甚至会危及人身生命安全。基于物联网设备被恶意软件感染或者被恶意攻击将产生恶意流量,为了及时阻断恶意软件感染或者恶意攻击,本申请实施例提供了一种高效的、适用于具备有限资源的物联网设备的恶意流量检测方法。
如图1所示,本申请实施例提供的一种基于宽度学习的轻量级恶意流量检测方法的流程可以包括以下步骤:
步骤101,获得训练集,该训练集中包含同一时间窗口的初始训练数据,该初始训练数据与时间窗口监测到的流量数据有关。
作为一个实施例,步骤101中的训练集可以通过以下方式获得:获得同一时间窗口内检测到的正常流量数据和异常流量数据,从已检测到的正常流量数据中提取n维特征数据,从已检测到的异常流量数据中提取n维特征数据,然后从提取的所有n维特征数据中选择n维特征数据作为训练集;其中n大于0。这里的n维特征数据中的n与正常流量数据或异常流量数据的属性相关,比如正常流量数据或异常流量数据的属性中至少包括报文五元组,则从正常流量数据或异常流量数据中提取的n维特征数据中的n大于等于5。另外,从正常流量数据或异常流量数据中提取的n维特征数据是指:将正常流量数据或异常流量数据中用于描述数据特征的属性信息转换为向量信息。
可选的,上述正常流量数据和异常流量数据可以通过以下步骤检测:将被恶意软件感染的异常物联网设备上的流量数据确定为异常流量数据,将正常物联网设备上的流量数据确定为正常流量数据;和/或,从公网中已公开的数据集中获得正常流量数据和异常流量数据;和/或,获得已学习的用于流量监测的流量检测分类模型检测到的正常流量数据和异常流量数据。其中,正常流量数据和异常流量数据可以包括本地流量数据中的正常流量数据和异常流量数据、和公网流量数据中的正常流量数据和异常流量数据。
其中,已学习的用于流量监测的流量检测分类模型检测到的正常流量数据和异常流量数据,可以包括以下几种情况:边缘网关设备上已部署的不同于初始流量检测分类模型的、其他已学习的用于流量监测的流量检测分类模型检测到的正常流量数据和异常流量数据;和/或,边缘网关设备上已学习的作为本申请实施例的初始流量检测分类模型的流量检测分类模型检测到的正常流量数据和异常流量数据。
作为一个实施例,可以在边缘网关设备上设置一个模型更新周期,每当时间到达模型更新周期指示的模型更新时间,如果该模型为已学习过的流量检测分类模型,则可以获取该已学习过的流量检测分类模型在上一周期的时间内检测到的正常流量数据和异常流量数据,将该已学习过的流量检测分类模型作为初始流量检测分类模型,以对初始流量检测分类模型重新训练更新;如果该模型为未学习过的流量检测分类模型,则需要将该未学习过的流量检测分类模型作为初始流量检测分类模型,通过以下方式获取正常流量数据和异常流量数据以训练该未学习过的流量检测分类模型:将被恶意软件感染的异常物联网设备上的流量数据确定为异常流量数据,将正常物联网设备上的流量数据确定为正常流量数据,和/或,从公网中已公开的数据集中获得正常流量数据和异常流量数据,和/或,获得其他已学习的用于流量监测的流量检测分类模型检测到的正常流量数据和异常流量数据。
在本申请实施例中,基于上述获得的正常流量数据和异常流量数据,可以通过以下方式获得同一时间窗口内检测到的正常流量数据和异常流量数据:先按照获得的正常流量数据被检测到的时间和异常流量数据被检测到的时间,将正常流量数据和异常流量数据按照被检测到的时间顺序合并拼接在一起,然后可以按照预先设置的时间窗口大小,对合并拼接在一起的正常流量数据和异常流量数据进行划分,从而可以得到同一时间窗口的正常流量数据和异常流量数据。
示例性的,假设一正常流量数据在A时刻被检测到,一异常流量数据在A时刻之后的B时刻被检测到,则将正常流量数据和异常流量数据合并拼接在一起是指:将该异常流量数据的记录合并拼接到该正常流量数据的记录之后。另外,假设合并拼接在一起的正常流量数据和异常流量数据的被检测时间处于C~D时段,预设时间窗口大小为(D-C)/10,则将按照预设时间窗口会将合并拼接在一起的正常流量数据和异常流量数据划分为10个时间窗口,从而可以得到同一时间窗口的正常流量数据和异常流量数据。
作为一个实施例,在得到不同时间窗口的正常流量数据和异常流量数据之后,针对每一时间窗口,可以进一步按照指定比例将同一时间窗口内检测到的正常流量数据和异常流量数据划分为训练集和测试集,比如可以按照7:3的数据量比例,将同一时间窗口内7/10的数据量划分为训练集,将同一时间窗口内3/10的数据量划分为测试集。在本实施例中,每一时间窗口的正常流量数据和异常流量数据都会被划分为一个训练集和一个测试集,示例性的,上述划分10个时间窗口,最终将获得10个训练集和10个测试集,每个时间窗口对应的训练集和测试集都会被用来训练一个候选流量检测分类模型,10个时间窗口将会获得10个时间窗口各自对应的10个候选流量检测分类模型。本申请实施例是以一个时间窗口的训练集训练初始流量检测分类模型的过程为例,介绍本申请实施例中训练初始流量检测分类模型的过程。
步骤102,利用初始流量检测分类模型中的线性特征节点按照线性特征节点被配置的系数矩阵对初始训练数据进行线性特征节点被赋予的特征运算得到特征运算结果。
在本申请实施例中,基于线性特征节点被赋予的特征运算用于对训练集中的初始训练数据进行线性变化,利用初始流量检测分类模型中的线性特征节点对初始训练数据进行特征运算,是为了得到线性特征数据。其中,可选的,线性特征节点被配置的系数矩阵的维度与线性特征节点的个数相关,比如,线性特征节点的个数为N1,则线性特征节点被配置的系数矩阵的维度可以也为N1。
步骤103,利用初始流量检测分类模型中的增强节点按照增强节点被配置的系数矩阵对初始训练数据和/或上述特征运算结果进行增强节点被赋予的增强运算得到增强运算结果。
在本申请实施例中,利用初始流量检测分类模型中的增强节点对初始训练数据和/或上述线性特征节点得到的特征运算结果进行增强运算,是为了得到非线性特征数据,以增加待训练的初始流量检测分类模型的复杂度,提高初始流量检测分类模型的泛化能力。其中,可选的,增强节点被配置的系数矩阵的维度与线性特征节点的个数和增强节点的个数相关,比如,线性特征节点的个数为N1,增强节点的个数为N2,则增强节点被配置的系数矩阵的维度可以为N1*N2。
作为一个实施例,本步骤102中的增强运算可以利用激活函数实现,以将增强节点 所需要处理的目标特征数据进行最大程度的激活,示例性的,上述激活函数可以选用
Figure 534403DEST_PATH_IMAGE002
激活函数:
Figure 760985DEST_PATH_IMAGE004
其中,x为初始训练数据和/或线性特征节点输出的特征运算结果。
步骤104,将增强运算结果和特征运算结果作为初始流量检测分类模型的目标训练数据X,依据目标训练数据X将初始流量检测分类模型训练为时间窗口对应的候选流量检测分类模型。
作为一个实施例,若上述增强运算结果为T,特征运算结果为y,则目标训练数据X 可以表示为
Figure 737031DEST_PATH_IMAGE006
在本申请实施例中,依据目标训练数据X将初始流量检测分类模型训练为时间窗口对应的候选流量检测分类模型,是指通过目标训练数据X计算出该时间窗口对应的候选流量检测分类模型中的权重,该权重是目标训练数据X和训练集中的初始训练数据的标签Y之间的映射关系。
步骤105,从不同时间窗口对应的候选流量检测分类模型中选择目标流量检测分类模型,该目标流量检测分类模型用于检测恶意流量。
在本申请实施例中,通过步骤101~步骤104可以通过不同时间窗口的训练集,可以训练出不同时间窗口对应的候选流量检测分类模型。
基于同一时间窗口的监测到的流量数据被划分为训练集和测试集,不同时间窗口的训练集将会分别对应一个测试集,进而可以基于测试集从不同时间窗口对应的候选流量检测分类模型中选择目标流量检测分类模型。
作为一个实施例,可以通过如图2所示的步骤确定目标流量检测分类模型:如图2所示,确定目标流量检测分类模型的步骤包括:
步骤201,依据已获得的不同时间窗口的测试集对不同时间窗口的候选流量检测分类模型进行测试。
其中,同一测试集中包含同一时间窗口的测试数据,同一时间窗口的测试数据与同一时间窗口监测到的流量数据有关。
步骤202,依据不同时间窗口的测试集对不同时间窗口的候选流量检测分类模型进行测试得到的测试结果,从不同时间窗口的候选流量检测分类模型中确定最优的目标流量检测分类模型。
示例性的,可以通过将时间窗口对应的测试集中的测试数据输入至该时间窗口对应的候选流量检测分类模型,然后通过判断候选流量检测分类模型输出的测试数据的标签与测试集中的测试数据的真实标签是否一致,计算出该时间窗口对应的候选流量检测分类模型的分类准确率,然后按照从大到小的顺序对各时间窗口对应的候选流量检测分类模型的分类准确率进行排序,将分类准确率最高的候选流量检测分类模型确定为最优的目标流量检测分类模型。
至此,完成图1所示流程。
通过图1所示的流程可以看出,本申请提供的方案在训练候选流量检测分类模型时,采用的目标训练数据X包括初始流量检测分类模型中的线性特征节点得到的特征运算结果、以及初始流量检测分类模型中的增强节点得到的增强运算结果,即目标训练数据X既具有线性特征数据,又具有非线性特征数据。因此,基于目标训练数据X对初始流量检测分类模型进行训练时,训练采用的神经网络的宽度相比直接利用初始训练数据对模型进行训练时采用的多层神经网络的宽度更宽,训练时也不需要该神经网络再与其他神经网络进行多层连接,所以本方案中的模型训练时的计算量更小、训练速度也更快,对设备的要求也更低,更适用于具备有限资源的物联网设备。同时利用本方案得到的目标流量检测分类模型对恶意流量的检测速度也更快,可以满足物联网设备对恶意流量检测的实时性要求。另外,本申请提供的方案可以应用于更靠近物联网中执行业务的各物联网设备的边缘网关设备,所以可以进一步减少通知物联网设备阻断恶意流量时的数据传输的时间开销,提高阻断恶意流量的及时性。
作为一个实施例,在通过本申请实施例确定目标流量检测分类模型之后,将在边缘网关设备上部署该目标流量检测分类模型,以由边缘网关设备在监测到物联网设备在物联网网络中交互的本地流量数据,和/或物联网设备与云端在公网中交互的公网流量数据时,将本地流量数据和/或公网流量数据输入至目标流量检测分类模型进行恶意流量检测。同时基于边缘网关设备为物联网中的物联网设备,以及边缘网关设备用于连接物联网网络和公网,所以本实施例中的边缘网关设备上的目标流量检测分类模型可以通过在线获取到的公网数据流量、本地数据流量训练得到,以及由于目标流量检测分类模型在边缘网关设备上直接训练,在部署目标流量检测分类模型时可以离线部署至边缘网关设备,减少了将训练好的目标流量检测模型传输至边缘网关设备进行部署的时间,以及在离线的情况下,该目标流量检测分类模型可以继续检测物联网网络中的本地流量数据。
作为一个实施例,在通过目标流量检测分类模型在检测到恶意流量时,边缘网关设备将会及时通知存在恶意流量的物联网设备,使存在恶意流量的物联网设备及时阻断恶意流量。由于边缘网关设备部署在靠近物联网设备的位置,本实施例中边缘网关设备在检测到恶意流量时通知存在恶意流量的物联网设备的时间开销会更小,可以有效减少阻断恶意流量需要的时间。
需要说明的是,作为一个实施例,上述目标流量检测分类模型具有目标权重,该目标权重是通过训练得到目标流量检测分类模型时使用的目标训练数据X得到的。
具体实现时,目标流量检测分类模型对应的目标权重可以通过以下方式确定:
作为一个实施例,若上述用于表述目标训练数据的矩阵X存在
Figure 543313DEST_PATH_IMAGE008
时,则按照如 下公式确定目标流量检测分类模型对应的目标权重W:
Figure 186784DEST_PATH_IMAGE010
其中,W为目标权重,
Figure 318688DEST_PATH_IMAGE011
为矩阵X的逆,Y为用于训练目标流量检测分类模型的 训练集中初始训练数据的标签。
不过,作为另一个实施例,由于往往求不出矩阵X的逆,或者矩阵X根本没有逆,那 么目标权重W的求解就需要X的伪逆
Figure 47610DEST_PATH_IMAGE013
,因此若上述X不存在
Figure 860845DEST_PATH_IMAGE015
时,则按照如下公式 确定目标权重:
Figure 404828DEST_PATH_IMAGE017
其中,
Figure DEST_PATH_IMAGE019
,W为目标权重,Y为初始训练数据的 标签,
Figure 910895DEST_PATH_IMAGE021
为预设值,
Figure DEST_PATH_IMAGE023
为指定矩阵。在具体实现时,
Figure 658271DEST_PATH_IMAGE023
可以指定为一个单位矩阵。
需要说明的是,在本申请实施例中,上述各候选流量检测分类模型对应的权重都可以通过上述计算目标权重的公式计算。
以上举例只是为了便于理解,本申请实施例并不具体限定。
以上对本申请实施例提供的方法进行了描述。下面对本申请实施例提供的装置进行描述:
参见图3,图3为本申请实施例提供的一种基于宽度学习的轻量级恶意流量检测的装置示意图,该装置应用于物联网中的边缘网关设备,该装置包括:
训练集获得模块301,用于获得训练集,所述训练集中包含同一时间窗口的初始训练数据,所述初始训练数据与所述时间窗口监测到的流量数据有关。
特征运算模块302,用于利用初始流量检测分类模型中的线性特征节点按照所述线性特征节点被配置的系数矩阵对初始训练数据进行所述线性特征节点被赋予的特征运算得到特征运算结果。
增强运算模块303,用于利用初始流量检测分类模型中的增强节点按照所述增强节点被配置的系数矩阵对初始训练数据和/或所述特征运算结果进行所述增强节点被赋予的增强运算得到增强运算结果。
模型训练模块304,用于将所述增强运算结果和所述特征运算结果作为所述初始流量检测分类模型的目标训练数据X,依据所述目标训练数据X将所述初始流量检测分类模型训练为所述时间窗口对应的候选流量检测分类模型。
模型选择模块305,用于从不同时间窗口对应的候选流量检测分类模型中选择目标流量检测分类模型,所述目标流量检测分类模型用于检测恶意流量。
可选的,所述训练集获得模块获得训练集包括:
获得同一时间窗口内检测到的正常流量数据和异常流量数据;
从已检测到的正常流量数据中提取n维特征数据;
从已检测到的异常流量数据中提取n维特征数据;
从提取的所有n维特征数据中选择n维特征数据作为训练集。
可选的,所述正常流量数据和异常流量数据通过以下步骤检测:
将被恶意软件感染的异常物联网设备上的流量数据确定为异常流量数据,将正常物联网设备上的流量数据确定为正常流量数据;和/或,
从公网中已公开的数据集中获得正常流量数据和异常流量数据;和/或,
获得已学习的用于流量监测的流量检测分类模型检测到的正常流量数据和异常流量数据。
可选的,所述目标流量检测分类模型具有目标权重;所述目标权重是依据所述目标训练数据X确定;
所述目标权重通过以下方式确定:
若所述X存在
Figure DEST_PATH_IMAGE025
时,则按照如下公式确定所述目标权重:
Figure DEST_PATH_IMAGE027
若所述X不存在
Figure DEST_PATH_IMAGE029
时,则按照如下公式确定所述目标权重:
Figure DEST_PATH_IMAGE031
其中,
Figure DEST_PATH_IMAGE033
,W为所述目标权重,Y为所述初始训 练数据的标签,
Figure DEST_PATH_IMAGE035
为预设值,
Figure DEST_PATH_IMAGE037
为指定矩阵。
可选的,所述模型选择模块305从不同时间窗口对应的候选流量检测分类模型中选择目标流量检测分类模型包括:
依据已获得的不同时间窗口的测试集对不同时间窗口的候选流量检测分类模型进行测试;同一测试集中包含同一时间窗口的测试数据,同一时间窗口的测试数据与同一时间窗口监测到的流量数据有关;
依据不同时间窗口的测试集对不同时间窗口的候选流量检测分类模型进行测试得到的测试结果,从不同时间窗口的候选流量检测分类模型中确定最优的目标流量检测分类模型。
至此,完成图3所示装置实施例的结构图。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种基于宽度学习的轻量级恶意流量检测方法,其特征在于,该方法应用于物联网中的边缘网关设备,所述方法包括:
获得训练集,所述训练集中包含同一时间窗口的初始训练数据,所述初始训练数据与所述时间窗口监测到的流量数据有关;
利用初始流量检测分类模型中线性特征节点被配置的系数矩阵,对初始训练数据进行特征运算得到特征运算结果;所述特征运算是指所述线性特征节点被赋予的运算;
利用初始流量检测分类模型中增强节点被配置的系数矩阵,对初始训练数据和/或所述特征运算结果进行增强运算得到增强运算结果;所述增强运算是指所述增强节点被赋予的运算,所述增强运算,用于得到非线性特征数据;
将所述增强运算结果和所述特征运算结果作为所述初始流量检测分类模型的目标训练数据X,依据所述目标训练数据X将所述初始流量检测分类模型训练为所述时间窗口对应的候选流量检测分类模型;
从不同时间窗口对应的候选流量检测分类模型中选择目标流量检测分类模型,所述目标流量检测分类模型用于检测恶意流量。
2.根据权利要求1所述的方法,其特征在于,所述获得训练集包括:
获得同一时间窗口内检测到的正常流量数据和异常流量数据;
从已检测到的正常流量数据中提取n维特征数据;
从已检测到的异常流量数据中提取n维特征数据;
从提取的所有n维特征数据中选择n维特征数据作为训练集。
3.根据权利要求2所述的方法,其特征在于,所述正常流量数据和异常流量数据通过以下步骤检测:
将被恶意软件感染的异常物联网设备上的流量数据确定为异常流量数据,将正常物联网设备上的流量数据确定为正常流量数据;和/或,
从公网中已公开的数据集中获得正常流量数据和异常流量数据;和/或,
获得已学习的用于流量监测的流量检测分类模型检测到的正常流量数据和异常流量数据。
4.根据权利要求1所述的方法,其特征在于,所述目标流量检测分类模型具有目标权重;所述目标权重是依据所述目标训练数据X确定。
5.根据权利要求4所述的方法,其特征在于,所述目标权重通过以下方式确定:
若所述X存在
Figure 88909DEST_PATH_IMAGE002
时,则按照如下公式确定所述目标权重:
Figure 209312DEST_PATH_IMAGE004
若所述X不存在
Figure DEST_PATH_IMAGE006
时,则按照如下公式确定所述目标权重:
Figure 457891DEST_PATH_IMAGE008
其中,
Figure 790783DEST_PATH_IMAGE010
,W为所述目标权重,Y为所述初始训 练数据的标签,
Figure 746101DEST_PATH_IMAGE012
为预设值,
Figure DEST_PATH_IMAGE014
为指定矩阵。
6.根据权利要求1至4任一所述的方法,其特征在于,所述从不同时间窗口对应的候选流量检测分类模型中选择目标流量检测分类模型包括:
依据已获得的不同时间窗口的测试集对不同时间窗口的候选流量检测分类模型进行测试;同一测试集中包含同一时间窗口的测试数据,同一时间窗口的测试数据与同一时间窗口监测到的流量数据有关;
依据不同时间窗口的测试集对不同时间窗口的候选流量检测分类模型进行测试得到的测试结果,从不同时间窗口的候选流量检测分类模型中确定最优的目标流量检测分类模型。
7.一种基于宽度学习的轻量级恶意流量检测装置,其特征在于,该装置应用于物联网中的边缘网关设备,所述装置包括:
训练集获得模块,用于获得训练集,所述训练集中包含同一时间窗口的初始训练数据,所述初始训练数据与所述时间窗口监测到的流量数据有关;
特征运算模块,用于利用初始流量检测分类模型中线性特征节点被配置的系数矩阵,对初始训练数据进行特征运算得到特征运算结果;所述特征运算是指所述线性特征节点被赋予的运算;
增强运算模块,用于利用初始流量检测分类模型中增强节点被配置的系数矩阵,对初始训练数据和/或所述特征运算结果进行增强运算得到增强运算结果;所述增强运算是指所述增强节点被赋予的运算,所述增强运算,用于得到非线性特征数据;
模型训练模块,用于将所述增强运算结果和所述特征运算结果作为所述初始流量检测分类模型的目标训练数据X,依据所述目标训练数据X将所述初始流量检测分类模型训练为所述时间窗口对应的候选流量检测分类模型;
模型选择模块,用于从不同时间窗口对应的候选流量检测分类模型中选择目标流量检测分类模型,所述目标流量检测分类模型用于检测恶意流量。
8.根据权利要求7所述的装置,其特征在于,所述训练集获得模块获得训练集包括:
获得同一时间窗口内检测到的正常流量数据和异常流量数据;
从已检测到的正常流量数据中提取n维特征数据;
从已检测到的异常流量数据中提取n维特征数据;
从提取的所有n维特征数据中选择n维特征数据作为训练集。
9.根据权利要求7所述的装置,其特征在于,所述目标流量检测分类模型具有目标权重;所述目标权重是依据所述目标训练数据X确定;
所述目标权重通过以下方式确定:
若所述X存在
Figure 37405DEST_PATH_IMAGE002
时,则按照如下公式确定所述目标权重:
Figure 507701DEST_PATH_IMAGE004
若所述X不存在
Figure 847546DEST_PATH_IMAGE006
时,则按照如下公式确定所述目标权重:
Figure 719687DEST_PATH_IMAGE015
其中,
Figure 244209DEST_PATH_IMAGE016
,W为所述目标权重,Y为所述初始训 练数据的标签,
Figure 936222DEST_PATH_IMAGE012
为预设值,
Figure 79758DEST_PATH_IMAGE014
为指定矩阵。
10.根据权利要求7至9任一所述的装置,其特征在于,所述模型选择模块从不同时间窗口对应的候选流量检测分类模型中选择目标流量检测分类模型包括:
依据已获得的不同时间窗口的测试集对不同时间窗口的候选流量检测分类模型进行测试;同一测试集中包含同一时间窗口的测试数据,同一时间窗口的测试数据与同一时间窗口监测到的流量数据有关;
依据不同时间窗口的测试集对不同时间窗口的候选流量检测分类模型进行测试得到的测试结果,从不同时间窗口的候选流量检测分类模型中确定最优的目标流量检测分类模型。
CN202210404385.2A 2022-04-18 2022-04-18 一种基于宽度学习的轻量级恶意流量检测方法及装置 Active CN114567511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210404385.2A CN114567511B (zh) 2022-04-18 2022-04-18 一种基于宽度学习的轻量级恶意流量检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210404385.2A CN114567511B (zh) 2022-04-18 2022-04-18 一种基于宽度学习的轻量级恶意流量检测方法及装置

Publications (2)

Publication Number Publication Date
CN114567511A CN114567511A (zh) 2022-05-31
CN114567511B true CN114567511B (zh) 2022-08-19

Family

ID=81721224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210404385.2A Active CN114567511B (zh) 2022-04-18 2022-04-18 一种基于宽度学习的轻量级恶意流量检测方法及装置

Country Status (1)

Country Link
CN (1) CN114567511B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117336057A (zh) * 2023-10-10 2024-01-02 中国矿业大学(北京) 一种基于深度学习的轻量化恶意流量分类方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111641598A (zh) * 2020-05-11 2020-09-08 华南理工大学 一种基于宽度学习的入侵检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10193913B2 (en) * 2016-08-04 2019-01-29 Cisco Technology, Inc. Joint anomaly detection across IOT devices
US11201882B2 (en) * 2017-11-30 2021-12-14 Nec Corporation Of America Detection of malicious network activity
US11663067B2 (en) * 2017-12-15 2023-05-30 International Business Machines Corporation Computerized high-speed anomaly detection
US10673882B2 (en) * 2018-01-15 2020-06-02 International Business Machines Corporation Network flow control of internet of things (IoT) devices
TWI783229B (zh) * 2020-05-22 2022-11-11 國立臺灣大學 網路異常流量偵測裝置及網路異常流量偵測方法
US11616798B2 (en) * 2020-08-21 2023-03-28 Palo Alto Networks, Inc. Malicious traffic detection with anomaly detection modeling
CN112367303B (zh) * 2020-10-21 2023-05-02 中国电子科技集团公司第二十八研究所 分布式自学习异常流量协同检测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111641598A (zh) * 2020-05-11 2020-09-08 华南理工大学 一种基于宽度学习的入侵检测方法

Also Published As

Publication number Publication date
CN114567511A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
Chen et al. Label-less learning for traffic control in an edge network
US20230079768A1 (en) Methods and internet of things (iot) systems for processing abnormality of smart gas pipeline network
JP2020017952A (ja) 警告するための方法と装置
CN105325023B (zh) 用于小区异常检测的方法和网络设备
CN109657003A (zh) 一种将硬件数据直接接入大数据平台的方法
US9491186B2 (en) Method and apparatus for providing hierarchical pattern recognition of communication network data
CN108696453B (zh) 轻量级的电力通信网sdn业务流感知方法及系统
CN113286315B (zh) 负载均衡判断方法、装置、设备及存储介质
CN114567511B (zh) 一种基于宽度学习的轻量级恶意流量检测方法及装置
CN113939831A (zh) 理解深度学习模型
CN116489152B (zh) 物联设备联动控制方法、装置、电子设备和介质
Li et al. Layered fault management scheme for end-to-end transmission in internet of things
CN112115957A (zh) 数据流识别方法及装置、计算机存储介质
CN103345552A (zh) 电力ict通信网可靠性的评估方法及系统
CN109446327A (zh) 一种移动通信客户投诉的诊断方法及系统
CN106385460A (zh) 一种物联网的可编程架构
CN106792876A (zh) 端到端网络感知评估方法和系统
CN114979148B (zh) 数据传输方法、装置及计算机可读存储介质
CN110072197A (zh) 一种应急通信传输信道优选智能切换选择方法
Ji et al. Guest editorial: Emerging visual IoT technologies for future communications and networks
KR20180072318A (ko) 데이터 왜곡을 방지할 수 있는 사물 인터넷 네트워크 시스템
Qiu et al. Abnormal Traffic Detection Method of Internet of Things Based on Deep Learning in Edge Computing Environment
CN110047236A (zh) 一种高风险等级区域安全管理方法及系统
CN112486677B (zh) 一种数据的图传方法及装置
CN114638473B (zh) 一种针对线上报警的出警调度系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant