CN112600792A - 一种物联网设备的异常行为检测方法及系统 - Google Patents
一种物联网设备的异常行为检测方法及系统 Download PDFInfo
- Publication number
- CN112600792A CN112600792A CN202011321253.0A CN202011321253A CN112600792A CN 112600792 A CN112600792 A CN 112600792A CN 202011321253 A CN202011321253 A CN 202011321253A CN 112600792 A CN112600792 A CN 112600792A
- Authority
- CN
- China
- Prior art keywords
- behavior
- internet
- data set
- feature vector
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/50—Safety; Security of things, users, data or systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种物联网设备的异常行为检测方法及系统。该方法包括:获取物联网设备的正常通信流量,并提取通信流量所有的行为特征向量;根据每一个物联网设备的行为特征向量中的样本属性确定行为特征数据集;对行为特征数据集进行K均值聚类学习,建立行为模型;根据行为特征数据集以及行为模型构建二元分类器模型;获取物联网设备的当前通信流量;利用二元分类器模型对当前通信流量进行判定,若当前通信流量为异常流量,阻断物联网设备的当前行为并进行报警;若当前通信流量为正常流量,提取当前通信流量的行为特征向量,将该行为特征向量更新为所述正常通信流量的行为特征向量,重新确定行为特征数据集。本发明能够提高异常行为流量的检测精度。
Description
技术领域
本发明涉及计算机网络技术领域,特别是涉及一种物联网设备的异常行为检测方法及系统。
背景技术
物联网是基于互联网、广播电视网、传统电信网等信息承载体,让所有能够被独立寻址的普通物理对象实现互联互通的网络。随着物联网的迅速发展及基础设施通信系统的互联网协议地址(Internet Protocol Address,IP)化,海量设备通过网络互联将成为趋势,在公安、交警、电力能源等行业中,大量IP摄像机、探测器、射频识别技术(RadioFrequency Identification,RFID)等物联网终端已经大规模部署在城市的各个角落,当今社会已经逐渐进入物联网时代。物联网前端设备大量分散在无人值守的环境下,极易被黑客利用,进而渗透到整个网络,导致核心业务系统无法正常运行、大量保密信息被窃取。因此,建立完善的物联网管控机制是物联网安全体系建设的重要内容。
针对物联网的安全事件频发催生了针对物联网安全通信层面攻击检测技术的发展,其中通过检测物联网中的异常流量可有效发现网络中的攻击行为。所以,如何对物联网中存在的异常行为进行检测与发现,成为物联网安全管理的重要问题。
传统的异常行为检测技术主要基于异常流量特征匹配技术,通过将实际通信中的网络流量与预先制定的异常流量特征进行匹配从而发现异常行为。该技术需要不断制定更新规则来判断是否有攻击行为发生,检测时间长,且该类方法检测准确度不高。
发明内容
本发明的目的是提供一种物联网设备的异常行为检测方法及系统,以解决传统的异常行为检测技术不断制定更新规则来判断是否有攻击行为发生,检测时间长,且检测准确度低的问题。
为实现上述目的,本发明提供了如下方案:
一种物联网设备的异常行为检测方法,包括:
获取物联网设备Di的正常通信流量,并提取所述正常通信流量所有的行为特征向量;所述行为特征向量包括时间粒度、报文类型、统计信息以及特征信息;
根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集;所述样本属性包括分别1分钟、2分钟、4分钟、8分钟内产生的8类报文的2个统计信息,共计64个特征;所述8类报文包括物联网设备Di发送的DNS请求、物联网设备Di接收的DNS响应、物联网设备Di发送的NTP请求、物联网设备Di接收的NTP响应、物联网设备Di发送的SSDP请求、由网关转发且由物联网设备Di发送至外网的报文、由网关转发且由外网发送至物联网设备Di的报文以及局域网内发送至物联网设备Di的报文;所述2个统计信息包括对应时间段内对应类型报文的平均长度以及对应时间段内对应类型报文出现的平均频率;
对所述行为特征数据集进行K均值聚类学习,建立行为模型;
根据所述行为特征数据集以及所述行为模型构建二元分类器模型;
获取所述物联网设备的当前通信流量;
利用所述二元分类器模型对所述当前通信流量进行判定,确定第一判定结果;
若所述第一判定结果表示为所述当前通信流量为异常流量,阻断所述物联网设备的当前行为并进行报警;
若所述第一判定结果表示为所述当前通信流量为正常流量,提取所述当前通信流量的行为特征向量,将所述当前通信流量的行为特征向量更新为所述正常通信流量的行为特征向量,返回步骤“根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集”。
可选的,所述根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集,具体包括:
对所述行为特征向量的样本属性进行标准化处理,确定标准化处理后的数据集;
对所述标准化处理后的数据集进行降维处理,确定行为特征数据集。
可选的,所述对所述行为特征向量的样本属性进行标准化处理,确定标准化处理后的数据集,具体包括:
获取所有物联网设备的同一行为特征向量中的同一样本属性的最大属性值以及最小属性值;
获取所述行为特征向量中每个样本属性的属性值;
根据所述属性值、最大属性值以及最小属性值确定每个样本属性的标准化属性值;
根据所述标准化属性值确定标准化处理后的数据集。
可选的,所述对所述标准化处理后的数据集进行降维处理,确定行为特征数据集,具体包括:
将所述标准化处理后的数据集构建为数据集矩阵,并确定所述数据集矩阵的协方差矩阵;
确定所述协方差矩阵的特征值以及每一所述特征值对应的特征向量;
获取投影空间维度,并根据所述投影空间维度选取与所述投影空间维度对应最大特征值;
获取所述最大特征值对应的特征向量;
根据所述最大特征值对应的特征向量构建投影矩阵;
根据所述数据集矩阵以及所述投影矩阵确定行为特征数据集。
可选的,所述对所述行为特征数据集进行K均值聚类学习,建立行为模型,具体包括:
获取聚类中心数以及最大迭代次数;
将所述行为特征数据集内的每个行为特征向量划分至距离所述行为特征向量小于第一距离阈值的聚类中心,确定划分至每一个聚类中心的第一特征向量集合;
计算所述第一特征向量集合内所有特征向量的均值,并将所述所有特征向量的均值赋值给所述聚类中心,确定赋值后的聚类中心;
基于所述最大迭代次数,根据所述赋值后的聚类中心建立行为模型。
可选的,所述根据所述行为特征数据集以及所述行为模型构建二元分类器模型,具体包括:
基于所述行为模型,获取所述第一特征向量集合中距离所述第一特征向量集合内聚类中心小于第二距离阈值的第一特征向量,并将所有的所述第一特征向量作为第二特征向量集合;
基于所述第二特征向量集合,根据所述第一特征向量确定每个所述聚类中心的边界;
根据所述聚类中心的边界构建二元分类器模型。
可选的,所述利用所述二元分类器模型对所述当前通信流量进行判定,确定第一判定结果,具体包括:
提取所述当前通信流量的行为特征向量;
对所述当前通信流量的行为特征向量进行标准化处理以及降维处理,确定降维后的行为特征数据集;
基于所述二元分类器模型,确定所述降维后的行为特征数据集内每一个第一特征向量的聚类中心以及边界;
根据所述第一特征向量以及每一个第一特征向量的聚类中心的距离差的范数是否小于所述边界,确定第一判定结果;
若小于所述边界,确定所述第一判定结果为所述当前通信流量为异常流量;
若不小于所述边界,确定所述第一判定结果为所述当前通信流量为异常流量。
一种物联网设备的异常行为检测系统,包括:
行为特征向量提取模块,用于获取物联网设备Di的正常通信流量,并提取所述正常通信流量所有的行为特征向量;所述行为特征向量包括时间粒度、报文类型、统计信息以及特征信息;
行为特征数据集确定模块,用于根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集;所述样本属性包括分别1分钟、2分钟、4分钟、8分钟内产生的8类报文的2个统计信息,共计64个特征;所述8类报文包括物联网设备Di发送的DNS请求、物联网设备Di接收的DNS响应、物联网设备Di发送的NTP请求、物联网设备Di接收的NTP响应、物联网设备Di发送的SSDP请求、由网关转发且由物联网设备Di发送至外网的报文、由网关转发且由外网发送至物联网设备Di的报文以及局域网内发送至物联网设备Di的报文;所述2个统计信息包括对应时间段内对应类型报文的平均长度以及对应时间段内对应类型报文出现的平均频率;
行为模型建立模块,用于对所述行为特征数据集进行K均值聚类学习,建立行为模型;
二元分类器模型构建模块,用于根据所述行为特征数据集以及所述行为模型构建二元分类器模型;
当前通信流量获取模块,用于获取所述物联网设备的当前通信流量;
第一判定结果确定模块,用于利用所述二元分类器模型对所述当前通信流量进行判定,确定第一判定结果;
异常流量确定模块,用于若所述第一判定结果表示为所述当前通信流量为异常流量,阻断所述物联网设备的当前行为并进行报警;
正常流量确定模块,用于若所述第一判定结果表示为所述当前通信流量为正常流量,提取所述当前通信流量的行为特征向量,将所述当前通信流量的行为特征向量更新为所述正常通信流量的行为特征向量,返回步骤“根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集”。
可选的,所述行为特征数据集确定模块,具体包括:
标准化处理单元,用于对所述行为特征向量的样本属性进行标准化处理,确定标准化处理后的数据集;
降维处理单元,用于对所述标准化处理后的数据集进行降维处理,确定行为特征数据集。
可选的,所述标准化处理单元,具体包括:
最大属性值以及最小属性值获取子单元,用于获取所有物联网设备的同一行为特征向量中的同一样本属性的最大属性值以及最小属性值;
属性值获取子单元,用于获取所述行为特征向量中每个样本属性的属性值;
标准化属性值确定子单元,用于根据所述属性值、最大属性值以及最小属性值确定每个样本属性的标准化属性值;
标准化处理后的数据集确定子单元,用于根据所述标准化属性值确定标准化处理后的数据集。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供了一种物联网设备的异常行为检测方法及系统,通过建设在安全网关,被动收集物联网设备的通信流量,对物联网设备的正常通信行为进行建模,确定二元分类器模型,当业务行为超出已有模型的范围,对不合规业务行为进行阻断、告警,从而实现基于设备行为的物联网终端网络行为防护,无需不断制定更新规则来判断是否有攻击行为发生,提高检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的物联网设备的异常行为检测方法流程图;
图2为本发明所提供的另一种物联网设备的异常行为检测方法流程图;
图3为本发明所提供的行为特征向量中的样本属性示意图;
图4为本发明所提供的物联网设备的异常行为检测系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种物联网设备的异常行为检测方法及系统,能够提高异常行为流量的检测精度。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的物联网设备的异常行为检测方法流程图,如图1所示,一种物联网设备的异常行为检测方法,包括:
步骤101:获取物联网设备Di的正常通信流量,并提取所述正常通信流量所有的行为特征向量;所述行为特征向量包括时间粒度、报文类型、统计信息以及特征信息。
步骤102:根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集;所述样本属性包括分别1分钟、2分钟、4分钟、8分钟内产生的8类报文的2个统计信息,共计64个特征;所述8类报文包括物联网设备Di发送的DNS请求、物联网设备Di接收的DNS响应、物联网设备Di发送的NTP请求、物联网设备Di接收的NTP响应、物联网设备Di发送的SSDP请求、由网关转发且由物联网设备Di发送至外网的报文、由网关转发且由外网发送至物联网设备Di的报文以及局域网内发送至物联网设备Di的报文;所述2个统计信息包括对应时间段内对应类型报文的平均长度以及对应时间段内对应类型报文出现的平均频率。
所述步骤102具体包括:对所述行为特征向量的样本属性进行标准化处理,确定标准化处理后的数据集;对所述标准化处理后的数据集进行降维处理,确定行为特征数据集。
其中,所述对所述行为特征向量的样本属性进行标准化处理,确定标准化处理后的数据集,具体包括:获取所有物联网设备的同一行为特征向量中的同一样本属性的最大属性值以及最小属性值;获取所述行为特征向量中每个样本属性的属性值;根据所述属性值、最大属性值以及最小属性值确定每个样本属性的标准化属性值;根据所述标准化属性值确定标准化处理后的数据集。
所述对所述标准化处理后的数据集进行降维处理,确定行为特征数据集,具体包括:将所述标准化处理后的数据集构建为数据集矩阵,并确定所述数据集矩阵的协方差矩阵;确定所述协方差矩阵的特征值以及每一所述特征值对应的特征向量;获取投影空间维度,并根据所述投影空间维度选取与所述投影空间维度对应最大特征值;获取所述最大特征值对应的特征向量;根据所述最大特征值对应的特征向量构建投影矩阵;根据所述数据集矩阵以及所述投影矩阵确定行为特征数据集。
步骤103:对所述行为特征数据集进行K均值聚类学习,建立行为模型。
所述步骤103具体包括:获取聚类中心数以及最大迭代次数;将所述行为特征数据集内的每个行为特征向量划分至距离所述行为特征向量小于第一距离阈值的聚类中心,确定划分至每一个聚类中心的第一特征向量集合;计算所述第一特征向量集合内所有特征向量的均值,并将所述所有特征向量的均值赋值给所述聚类中心,确定赋值后的聚类中心;基于所述最大迭代次数,根据所述赋值后的聚类中心建立行为模型。
步骤104:根据所述行为特征数据集以及所述行为模型构建二元分类器模型。
所述步骤104具体包括:基于所述行为模型,获取所述第一特征向量集合中距离所述第一特征向量集合内聚类中心小于第二距离阈值的第一特征向量,并将所有的所述第一特征向量作为第二特征向量集合;基于所述第二特征向量集合,根据所述第一特征向量确定每个所述聚类中心的边界;根据所述聚类中心的边界构建二元分类器模型。
步骤105:获取所述物联网设备的当前通信流量。
步骤106:利用所述二元分类器模型对所述当前通信流量进行判定,确定第一判定结果。
所述步骤106具体包括:提取所述当前通信流量的行为特征向量;对所述当前通信流量的行为特征向量进行标准化处理以及降维处理,确定降维后的行为特征数据集;基于所述二元分类器模型,确定所述降维后的行为特征数据集内每一个第一特征向量的聚类中心以及边界;根据所述第一特征向量以及每一个第一特征向量的聚类中心的距离差的范数是否小于所述边界,确定第一判定结果;若小于所述边界,确定所述第一判定结果为所述当前通信流量为异常流量;若不小于所述边界,确定所述第一判定结果为所述当前通信流量为异常流量。
步骤107:若所述第一判定结果表示为所述当前通信流量为异常流量,阻断所述物联网设备的当前行为并进行报警。
步骤108:若所述第一判定结果表示为所述当前通信流量为正常流量,提取所述当前通信流量的行为特征向量,将所述当前通信流量的行为特征向量更新为所述正常通信流量的行为特征向量,返回步骤“根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集”。
基于本发明所提供的物联网设备的异常行为检测方法,在实际应用中,本发明的检测过程如图2所示,图2为本发明所提供的另一种物联网设备的异常行为检测方法流程图。
该检测方法基于机器学习的物联网设备行为建模,并进行异常行为检测,通过建设在安全网关,通过被动收集物联网通信流量,对物联网设备的正常通行行为进行建模,当业务出现异常时即业务行为超出已有模型的范围,对不合规业务行为进行阻断、告警,包括如下步骤:
步骤S1:定义起始时间t0、时间粒度t、目标网络内的物联网设备{D1,D2,...,Dl},于时刻t0+jt,j=1,2,…,从目标网络内流量中提取每个设备Di的行为“特征向量”并以设备MAC地址对其进行唯一标识:
上述技术方案中,在步骤S1中,如图3所示,所述“特征向量”的属性包括,设备Di分别在1分钟、2分钟、4分钟、8分钟内产生的8类报文的各2个统计信息共计64个特征,所述8类报文包括物联网设备Di发送的DNS请求、物联网设备Di接收的DNS响应、物联网设备Di发送的NTP请求、物联网设备Di接收的NTP响应、物联网设备Di发送的SSDP请求、由网关转发且由物联网设备Di发送至外网的报文、由网关转发且由外网发送至物联网设备Di的报文以及局域网内发送至物联网设备Di的报文;所述2个统计信息为:对应时间段内对应类型报文的平均长度、对应时间段内对应类型报文出现的平均频率。
上述技术方案中,在步骤S3中,所述的利用主成分分析算法对特征向量进行降维的具体步骤为:
步骤S302:计算协方差矩阵:
步骤S401:将聚类中心指数index设为1。
步骤S403:将迭代计数iter设为1。
步骤S407:计算:
步骤S502:对Mi中每个聚类中心Ck,i,计算接受边界Bk,i:
上述技术方案中,在步骤S6中,所述的对设备Di新产生的流量进行异常检测的具体步骤为:
步骤S601:通过与步骤1相同的方式对当前通信流量进行特征提取,定义提取出当前通信流量的行为特征向量为Z。
步骤S602:利用公式(1)对Z进行标准化,获得向量Z*。
步骤S603:对Z*进行降维,计算Z**=Z*Wi。
步骤S604:找到与Z**距离最近的聚类中心Cz,i,其中,z=arg maxk||Z**-Ck,i||。
步骤S605:若||Z**-Cz,i||≤Bz,i则接受该流量为正常行为流量,否则拒绝。
本发明采用真实物联网环境对所提方法进行验证,物联网环境中包括8类物联网设备,设备间通信采用Wi-Fi网络。其中,物联网设备类型包括惠普打印机、Netatmo摄像头、三星摄像头、Dropcam摄像头、Belkin智能开关、亚马逊Echo智能音箱、LiFX智能灯泡、Withings Sleep睡眠监测仪。本发明首先在隔离外网的环境收集了的连续30天内的网络流量,从中提取52853个特征向量作为训练集。同时,继续收集连续10天的网络流量,并添加ARP攻击、TCP SYN flood攻击、UDP flood攻击、Ping ofDeath攻击、Smurf攻击,以及SNMP、SSDP、TCP SYN反射放大攻击的流量,从中提取43582个特征向量作为测试集。
表1为本发明提出的物联网设备行为建模与异常检测方法的测试结果表,本次测试采用真阴性率(正确识别正常流量)、真阳性率(正确识别异常流量)、假阳性率(将正常流量识别为异常流量)、假阴性率(将异常流量识别为正常流量),从表1中可以看出,使用本发明所提供的方法,实现了精准的物联网资产异常行为检测。
表1
图4为本发明所提供的物联网设备的异常行为检测系统结构图,如图4所示,一种物联网设备的异常行为检测系统,包括:
行为特征向量提取模块501,用于获取物联网设备Di的正常通信流量,并提取所述正常通信流量所有的行为特征向量;所述行为特征向量包括时间粒度、报文类型、统计信息以及特征信息。
行为特征数据集确定模块502,用于根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集;所述样本属性包括分别1分钟、2分钟、4分钟、8分钟内产生的8类报文的2个统计信息,共计64个特征;所述8类报文包括物联网设备Di发送的DNS请求、物联网设备Di接收的DNS响应、物联网设备Di发送的NTP请求、物联网设备Di接收的NTP响应、物联网设备Di发送的SSDP请求、由网关转发且由物联网设备Di发送至外网的报文、由网关转发且由外网发送至物联网设备Di的报文以及局域网内发送至物联网设备Di的报文;所述2个统计信息包括对应时间段内对应类型报文的平均长度以及对应时间段内对应类型报文出现的平均频率。
所述行为特征数据集确定模块502,具体包括:标准化处理单元,用于对所述行为特征向量的样本属性进行标准化处理,确定标准化处理后的数据集;降维处理单元,用于对所述标准化处理后的数据集进行降维处理,确定行为特征数据集。
所述标准化处理单元,具体包括:最大属性值以及最小属性值获取子单元,用于获取所有物联网设备的同一行为特征向量中的同一样本属性的最大属性值以及最小属性值;属性值获取子单元,用于获取所述行为特征向量中每个样本属性的属性值;标准化属性值确定子单元,用于根据所述属性值、最大属性值以及最小属性值确定每个样本属性的标准化属性值;标准化处理后的数据集确定子单元,用于根据所述标准化属性值确定标准化处理后的数据集。
行为模型建立模块503,用于对所述行为特征数据集进行K均值聚类学习,建立行为模型。
二元分类器模型构建模块504,用于根据所述行为特征数据集以及所述行为模型构建二元分类器模型。
当前通信流量获取模块505,用于获取所述物联网设备的当前通信流量。
第一判定结果确定模块506,用于利用所述二元分类器模型对所述当前通信流量进行判定,确定第一判定结果。
异常流量确定模块507,用于若所述第一判定结果表示为所述当前通信流量为异常流量,阻断所述物联网设备的当前行为并进行报警。
正常流量确定模块508,用于若所述第一判定结果表示为所述当前通信流量为正常流量,提取所述当前通信流量的行为特征向量,将所述当前通信流量的行为特征向量更新为所述正常通信流量的行为特征向量,返回步骤“根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集”。
本发明从物联网通信流量中提取相关信息构成训练样本;利用提取得到的训练样本,能够基于机器学习方法对物联网设备的正常通信行为进行建模;利用获得的模型,能够对目标网络内的异常行为进行检测与发现。采用本发明所提供的异常行为检测方法及系统,当业务行为超出已有模型的范围,对不合规业务行为进行阻断、告警,从而实现基于设备行为的物联网终端网络行为防护。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种物联网设备的异常行为检测方法,其特征在于,包括:
获取物联网设备Di的正常通信流量,并提取所述正常通信流量所有的行为特征向量;所述行为特征向量包括时间粒度、报文类型、统计信息以及特征信息;
根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集;所述样本属性包括分别1分钟、2分钟、4分钟、8分钟内产生的8类报文的2个统计信息,共计64个特征;所述8类报文包括物联网设备Di发送的DNS请求、物联网设备Di接收的DNS响应、物联网设备Di发送的NTP请求、物联网设备Di接收的NTP响应、物联网设备Di发送的SSDP请求、由网关转发且由物联网设备Di发送至外网的报文、由网关转发且由外网发送至物联网设备Di的报文以及局域网内发送至物联网设备Di的报文;所述2个统计信息包括对应时间段内对应类型报文的平均长度以及对应时间段内对应类型报文出现的平均频率;
对所述行为特征数据集进行K均值聚类学习,建立行为模型;
根据所述行为特征数据集以及所述行为模型构建二元分类器模型;
获取所述物联网设备的当前通信流量;
利用所述二元分类器模型对所述当前通信流量进行判定,确定第一判定结果;
若所述第一判定结果表示为所述当前通信流量为异常流量,阻断所述物联网设备的当前行为并进行报警;
若所述第一判定结果表示为所述当前通信流量为正常流量,提取所述当前通信流量的行为特征向量,将所述当前通信流量的行为特征向量更新为所述正常通信流量的行为特征向量,返回步骤“根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集”。
2.根据权利要求1所述的物联网设备的异常行为检测方法,其特征在于,所述根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集,具体包括:
对所述行为特征向量的样本属性进行标准化处理,确定标准化处理后的数据集;
对所述标准化处理后的数据集进行降维处理,确定行为特征数据集。
3.根据权利要求2所述的物联网设备的异常行为检测方法,其特征在于,所述对所述行为特征向量的样本属性进行标准化处理,确定标准化处理后的数据集,具体包括:
获取所有物联网设备的同一行为特征向量中的同一样本属性的最大属性值以及最小属性值;
获取所述行为特征向量中每个样本属性的属性值;
根据所述属性值、最大属性值以及最小属性值确定每个样本属性的标准化属性值;
根据所述标准化属性值确定标准化处理后的数据集。
4.根据权利要求3所述的物联网设备的异常行为检测方法,其特征在于,所述对所述标准化处理后的数据集进行降维处理,确定行为特征数据集,具体包括:
将所述标准化处理后的数据集构建为数据集矩阵,并确定所述数据集矩阵的协方差矩阵;
确定所述协方差矩阵的特征值以及每一所述特征值对应的特征向量;
获取投影空间维度,并根据所述投影空间维度选取与所述投影空间维度对应最大特征值;
获取所述最大特征值对应的特征向量;
根据所述最大特征值对应的特征向量构建投影矩阵;
根据所述数据集矩阵以及所述投影矩阵确定行为特征数据集。
5.根据权利要求1所述的物联网设备的异常行为检测方法,其特征在于,所述对所述行为特征数据集进行K均值聚类学习,建立行为模型,具体包括:
获取聚类中心数以及最大迭代次数;
将所述行为特征数据集内的每个行为特征向量划分至距离所述行为特征向量小于第一距离阈值的聚类中心,确定划分至每一个聚类中心的第一特征向量集合;
计算所述第一特征向量集合内所有特征向量的均值,并将所述所有特征向量的均值赋值给所述聚类中心,确定赋值后的聚类中心;
基于所述最大迭代次数,根据所述赋值后的聚类中心建立行为模型。
6.根据权利要求5所述的物联网设备的异常行为检测方法,其特征在于,所述根据所述行为特征数据集以及所述行为模型构建二元分类器模型,具体包括:
基于所述行为模型,获取所述第一特征向量集合中距离所述第一特征向量集合内聚类中心小于第二距离阈值的第一特征向量,并将所有的所述第一特征向量作为第二特征向量集合;
基于所述第二特征向量集合,根据所述第一特征向量确定每个所述聚类中心的边界;
根据所述聚类中心的边界构建二元分类器模型。
7.根据权利要求6所述的物联网设备的异常行为检测方法,其特征在于,所述利用所述二元分类器模型对所述当前通信流量进行判定,确定第一判定结果,具体包括:
提取所述当前通信流量的行为特征向量;
对所述当前通信流量的行为特征向量进行标准化处理以及降维处理,确定降维后的行为特征数据集;
基于所述二元分类器模型,确定所述降维后的行为特征数据集内每一个第一特征向量的聚类中心以及边界;
根据所述第一特征向量以及每一个第一特征向量的聚类中心的距离差的范数是否小于所述边界,确定第一判定结果;
若小于所述边界,确定所述第一判定结果为所述当前通信流量为异常流量;
若不小于所述边界,确定所述第一判定结果为所述当前通信流量为异常流量。
8.一种物联网设备的异常行为检测系统,其特征在于,包括:
行为特征向量提取模块,用于获取物联网设备Di的正常通信流量,并提取所述正常通信流量所有的行为特征向量;所述行为特征向量包括时间粒度、报文类型、统计信息以及特征信息;
行为特征数据集确定模块,用于根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集;所述样本属性包括分别1分钟、2分钟、4分钟、8分钟内产生的8类报文的2个统计信息,共计64个特征;所述8类报文包括物联网设备Di发送的DNS请求、物联网设备Di接收的DNS响应、物联网设备Di发送的NTP请求、物联网设备Di接收的NTP响应、物联网设备Di发送的SSDP请求、由网关转发且由物联网设备Di发送至外网的报文、由网关转发且由外网发送至物联网设备Di的报文以及局域网内发送至物联网设备Di的报文;所述2个统计信息包括对应时间段内对应类型报文的平均长度以及对应时间段内对应类型报文出现的平均频率;
行为模型建立模块,用于对所述行为特征数据集进行K均值聚类学习,建立行为模型;
二元分类器模型构建模块,用于根据所述行为特征数据集以及所述行为模型构建二元分类器模型;
当前通信流量获取模块,用于获取所述物联网设备的当前通信流量;
第一判定结果确定模块,用于利用所述二元分类器模型对所述当前通信流量进行判定,确定第一判定结果;
异常流量确定模块,用于若所述第一判定结果表示为所述当前通信流量为异常流量,阻断所述物联网设备的当前行为并进行报警;
正常流量确定模块,用于若所述第一判定结果表示为所述当前通信流量为正常流量,提取所述当前通信流量的行为特征向量,将所述当前通信流量的行为特征向量更新为所述正常通信流量的行为特征向量,返回步骤“根据每一个所述物联网设备的所述行为特征向量中的样本属性确定行为特征数据集”。
9.根据权利要求8所述的物联网设备的异常行为检测系统,其特征在于,所述行为特征数据集确定模块,具体包括:
标准化处理单元,用于对所述行为特征向量的样本属性进行标准化处理,确定标准化处理后的数据集;
降维处理单元,用于对所述标准化处理后的数据集进行降维处理,确定行为特征数据集。
10.根据权利要求9所述的物联网设备的异常行为检测系统,其特征在于,所述标准化处理单元,具体包括:
最大属性值以及最小属性值获取子单元,用于获取所有物联网设备的同一行为特征向量中的同一样本属性的最大属性值以及最小属性值;
属性值获取子单元,用于获取所述行为特征向量中每个样本属性的属性值;
标准化属性值确定子单元,用于根据所述属性值、最大属性值以及最小属性值确定每个样本属性的标准化属性值;
标准化处理后的数据集确定子单元,用于根据所述标准化属性值确定标准化处理后的数据集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011321253.0A CN112600792B (zh) | 2020-11-23 | 2020-11-23 | 一种物联网设备的异常行为检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011321253.0A CN112600792B (zh) | 2020-11-23 | 2020-11-23 | 一种物联网设备的异常行为检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112600792A true CN112600792A (zh) | 2021-04-02 |
CN112600792B CN112600792B (zh) | 2022-04-08 |
Family
ID=75183614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011321253.0A Active CN112600792B (zh) | 2020-11-23 | 2020-11-23 | 一种物联网设备的异常行为检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112600792B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113542060A (zh) * | 2021-07-07 | 2021-10-22 | 电子科技大学中山学院 | 一种基于设备通信数据特征的异常设备检测方法 |
CN113705714A (zh) * | 2021-09-03 | 2021-11-26 | 上海观安信息技术股份有限公司 | 基于行为序列的配电物联网设备异常行为检测方法及装置 |
CN113935438A (zh) * | 2021-12-14 | 2022-01-14 | 杭州海康威视数字技术股份有限公司 | 基于设备角色的物联网设备异常检测方法、系统及装置 |
WO2022259496A1 (ja) * | 2021-06-10 | 2022-12-15 | 日本電信電話株式会社 | 分析装置、分析方法、および、分析プログラム |
CN115996133A (zh) * | 2022-06-27 | 2023-04-21 | 西安电子科技大学 | 一种工业控制网络行为检测方法以及相关装置 |
CN118138370A (zh) * | 2024-04-30 | 2024-06-04 | 中国电子科技集团公司第三十研究所 | 一种物联网安全接入网关和非侵入式接入控制方法 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105376255A (zh) * | 2015-12-08 | 2016-03-02 | 国网福建省电力有限公司 | 一种基于K-means聚类的Android平台入侵检测方法 |
CN105553998A (zh) * | 2015-12-23 | 2016-05-04 | 中国电子科技集团公司第三十研究所 | 一种网络攻击异常检测方法 |
US20160299938A1 (en) * | 2015-04-10 | 2016-10-13 | Tata Consultancy Services Limited | Anomaly detection system and method |
CN107733937A (zh) * | 2017-12-01 | 2018-02-23 | 广东奥飞数据科技股份有限公司 | 一种异常网络流量检测方法 |
CN108712404A (zh) * | 2018-05-04 | 2018-10-26 | 重庆邮电大学 | 一种基于机器学习的物联网入侵检测方法 |
EP3418761A1 (en) * | 2017-06-21 | 2018-12-26 | Technische Universität Graz | Method and system for determining a position |
CN109218223A (zh) * | 2018-08-08 | 2019-01-15 | 西安交通大学 | 一种基于主动学习的鲁棒性网络流量分类方法及系统 |
CN109600363A (zh) * | 2018-11-28 | 2019-04-09 | 南京财经大学 | 一种物联网终端网络画像及异常网络访问行为检测方法 |
CN109818793A (zh) * | 2019-01-30 | 2019-05-28 | 基本立子(北京)科技发展有限公司 | 针对物联网的设备类型识别及网络入侵检测方法 |
CN110324316A (zh) * | 2019-05-31 | 2019-10-11 | 河南恩湃高科集团有限公司 | 一种基于多种机器学习算法的工控异常行为检测方法 |
CN111010387A (zh) * | 2019-12-10 | 2020-04-14 | 杭州安恒信息技术股份有限公司 | 一种物联网设备非法替换检测方法、装置、设备及介质 |
CN111107102A (zh) * | 2019-12-31 | 2020-05-05 | 上海海事大学 | 基于大数据实时网络流量异常检测方法 |
CN111343163A (zh) * | 2020-02-14 | 2020-06-26 | 东南大学 | 基于网络流量特征融合的物联网设备身份凭证生成方法 |
CN111786951A (zh) * | 2020-05-28 | 2020-10-16 | 东方红卫星移动通信有限公司 | 流量数据特征提取方法、恶意流量识别方法及网络系统 |
CN111832647A (zh) * | 2020-07-10 | 2020-10-27 | 上海交通大学 | 异常流量检测系统及方法 |
CN111860692A (zh) * | 2020-07-31 | 2020-10-30 | 国网重庆市电力公司电力科学研究院 | 一种基于K-mediod的物联网环境下的异常数据检测方法 |
CN111935170A (zh) * | 2020-08-20 | 2020-11-13 | 杭州安恒信息技术股份有限公司 | 一种网络异常流量检测方法、装置及设备 |
-
2020
- 2020-11-23 CN CN202011321253.0A patent/CN112600792B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160299938A1 (en) * | 2015-04-10 | 2016-10-13 | Tata Consultancy Services Limited | Anomaly detection system and method |
CN105376255A (zh) * | 2015-12-08 | 2016-03-02 | 国网福建省电力有限公司 | 一种基于K-means聚类的Android平台入侵检测方法 |
CN105553998A (zh) * | 2015-12-23 | 2016-05-04 | 中国电子科技集团公司第三十研究所 | 一种网络攻击异常检测方法 |
EP3418761A1 (en) * | 2017-06-21 | 2018-12-26 | Technische Universität Graz | Method and system for determining a position |
CN107733937A (zh) * | 2017-12-01 | 2018-02-23 | 广东奥飞数据科技股份有限公司 | 一种异常网络流量检测方法 |
CN108712404A (zh) * | 2018-05-04 | 2018-10-26 | 重庆邮电大学 | 一种基于机器学习的物联网入侵检测方法 |
CN109218223A (zh) * | 2018-08-08 | 2019-01-15 | 西安交通大学 | 一种基于主动学习的鲁棒性网络流量分类方法及系统 |
CN109600363A (zh) * | 2018-11-28 | 2019-04-09 | 南京财经大学 | 一种物联网终端网络画像及异常网络访问行为检测方法 |
CN109818793A (zh) * | 2019-01-30 | 2019-05-28 | 基本立子(北京)科技发展有限公司 | 针对物联网的设备类型识别及网络入侵检测方法 |
CN110324316A (zh) * | 2019-05-31 | 2019-10-11 | 河南恩湃高科集团有限公司 | 一种基于多种机器学习算法的工控异常行为检测方法 |
CN111010387A (zh) * | 2019-12-10 | 2020-04-14 | 杭州安恒信息技术股份有限公司 | 一种物联网设备非法替换检测方法、装置、设备及介质 |
CN111107102A (zh) * | 2019-12-31 | 2020-05-05 | 上海海事大学 | 基于大数据实时网络流量异常检测方法 |
CN111343163A (zh) * | 2020-02-14 | 2020-06-26 | 东南大学 | 基于网络流量特征融合的物联网设备身份凭证生成方法 |
CN111786951A (zh) * | 2020-05-28 | 2020-10-16 | 东方红卫星移动通信有限公司 | 流量数据特征提取方法、恶意流量识别方法及网络系统 |
CN111832647A (zh) * | 2020-07-10 | 2020-10-27 | 上海交通大学 | 异常流量检测系统及方法 |
CN111860692A (zh) * | 2020-07-31 | 2020-10-30 | 国网重庆市电力公司电力科学研究院 | 一种基于K-mediod的物联网环境下的异常数据检测方法 |
CN111935170A (zh) * | 2020-08-20 | 2020-11-13 | 杭州安恒信息技术股份有限公司 | 一种网络异常流量检测方法、装置及设备 |
Non-Patent Citations (1)
Title |
---|
王旭仁: "基于K-means和naive bayes数据库用户行为异常检测研究", 《计算机应用研究》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022259496A1 (ja) * | 2021-06-10 | 2022-12-15 | 日本電信電話株式会社 | 分析装置、分析方法、および、分析プログラム |
CN113542060A (zh) * | 2021-07-07 | 2021-10-22 | 电子科技大学中山学院 | 一种基于设备通信数据特征的异常设备检测方法 |
CN113542060B (zh) * | 2021-07-07 | 2023-03-07 | 电子科技大学中山学院 | 一种基于设备通信数据特征的异常设备检测方法 |
CN113705714A (zh) * | 2021-09-03 | 2021-11-26 | 上海观安信息技术股份有限公司 | 基于行为序列的配电物联网设备异常行为检测方法及装置 |
CN113935438A (zh) * | 2021-12-14 | 2022-01-14 | 杭州海康威视数字技术股份有限公司 | 基于设备角色的物联网设备异常检测方法、系统及装置 |
CN113935438B (zh) * | 2021-12-14 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 基于设备角色的物联网设备异常检测方法、系统及装置 |
CN115996133A (zh) * | 2022-06-27 | 2023-04-21 | 西安电子科技大学 | 一种工业控制网络行为检测方法以及相关装置 |
CN115996133B (zh) * | 2022-06-27 | 2024-04-09 | 西安电子科技大学 | 一种工业控制网络行为检测方法以及相关装置 |
CN118138370A (zh) * | 2024-04-30 | 2024-06-04 | 中国电子科技集团公司第三十研究所 | 一种物联网安全接入网关和非侵入式接入控制方法 |
CN118138370B (zh) * | 2024-04-30 | 2024-09-24 | 中国电子科技集团公司第三十研究所 | 一种物联网安全接入网关和非侵入式接入控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112600792B (zh) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112600792B (zh) | 一种物联网设备的异常行为检测方法及系统 | |
CN109063745B (zh) | 一种基于决策树的网络设备类型识别方法及系统 | |
CN111935170B (zh) | 一种网络异常流量检测方法、装置及设备 | |
CN105827472B (zh) | 网络数据流类型检测方法及装置 | |
CN101202652A (zh) | 网络应用流量分类识别装置及其方法 | |
CN113645182B (zh) | 一种基于二次特征筛选的拒绝服务攻击随机森林检测方法 | |
Fan et al. | An iot device identification method based on semi-supervised learning | |
CN112422556B (zh) | 一种物联网终端信任模型构建方法及系统 | |
CN108632269A (zh) | 基于c4.5决策树算法的分布式拒绝服务攻击检测方法 | |
CN110798426A (zh) | 一种洪水类DoS攻击行为的检测方法、系统及相关组件 | |
CN109150859B (zh) | 一种基于网络流量流向相似性的僵尸网络检测方法 | |
US11863439B2 (en) | Method, apparatus and storage medium for application identification | |
CN113762377B (zh) | 网络流量识别方法、装置、设备及存储介质 | |
WO2020022953A1 (en) | System and method for identifying an internet of things (iot) device based on a distributed fingerprinting solution | |
WO2020020098A1 (zh) | 网络流测量的方法、网络测量设备以及控制面设备 | |
CN112134873B (zh) | 一种IoT网络异常流量实时检测方法及系统 | |
CN113328985A (zh) | 一种被动物联网设备识别方法、系统、介质及设备 | |
CN116132311B (zh) | 一种基于时间序列的网络安全态势感知方法 | |
Zhao et al. | A few-shot learning based approach to IoT traffic classification | |
Xu et al. | [Retracted] DDoS Detection Using a Cloud‐Edge Collaboration Method Based on Entropy‐Measuring SOM and KD‐Tree in SDN | |
Xiao et al. | A traffic classification method with spectral clustering in SDN | |
CN111181969B (zh) | 一种基于自发流量的物联网设备识别方法 | |
CN113055333B (zh) | 可自适应动态调整密度网格的网络流量聚类方法和装置 | |
CN116668145A (zh) | 一种基于工控协议通信模型的工控设备厂商识别方法 | |
CN115065519B (zh) | 分布式边端协同的DDoS攻击实时监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |