CN113364752A - 一种流量异常检测方法、检测设备及计算机可读存储介质 - Google Patents
一种流量异常检测方法、检测设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113364752A CN113364752A CN202110583803.4A CN202110583803A CN113364752A CN 113364752 A CN113364752 A CN 113364752A CN 202110583803 A CN202110583803 A CN 202110583803A CN 113364752 A CN113364752 A CN 113364752A
- Authority
- CN
- China
- Prior art keywords
- sequence
- flow
- packet
- data
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 145
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000002159 abnormal effect Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 17
- 238000012986 modification Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 description 24
- 230000006399 behavior Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005304 joining Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000012496 blank sample Substances 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种流量异常检测方法、检测设备及计算机可读存储介质，所述方法包括：获取待测设备的网络流量；对所述网络流量进行预处理，生成包序列；针对每一个所述包序列，将该包序列输入与所述待测设备对应的检测模型中，并通过所述检测模型对该包序列进行编码和解码，得到该包序列对应的重构序列，其中，所述检测模型为与所述待测设备对应的自编码器；根据所述重构序列，确定所述包序列对应的序列类型；根据各个所述包序列对应的序列类型，确定所述网络流量对应的流量类型。本发明能够有效提高针对物联网的网络流量异常检测的准确率，降低物联网被攻击的概率，提高物联网的安全性。
Description
技术领域
本发明涉及物联网领域，尤其涉及一种流量异常检测方法、检测设备及计算机可读存储介质。
背景技术
随着物联网(Internet of Things,IoT)技术的发展和成熟，物联网设备在全球的部署量急速增长，预计在2022年全球的部署量将达到290亿台。与此同时，物联网设备数量的增多也为攻击者提供了一种新的攻击方式。一方面，大多数物联网设备是低能耗、低功能性的，因此一些复杂的或对算力要求较高的安全机制难以部署在设备上；另一方面，尽管物联网的市场规模预计将在2022年达到540亿美元，过期的固件/软件依旧普遍存在于各类设备并且可能会长期存在。此外，普通消费者往往缺乏足够的专业知识和安全意识，例如不修改默认登陆密码，从而导致设备很容易遭受攻击。
这些缺陷为攻击者提供了一个进行恶意软件传播、尤其是物联网僵尸网络扩散的有利环境。在2016年，一个名为Mirai的物联网僵尸网络通过利用安装Telnet的物联网设备未修改的默认登陆密码控制了超过600,000台物联网设备，并发动了一次前所未有的大规模分布式拒接服务攻击(Distributed Denial-of-Service，DDoS)，其攻击流量峰值超过了620Gbps，导致众多知名网站的服务无法正常接入。之后，Mirai的源代码被匿名公开发布，从而又催生了Mirai的多个变种恶意软件的出现，进一步恶化了物联网的安全生态环境。
为了缓解基于物联网的网络攻击造成的威胁，目前最常用的手段是网络入侵检测系统(Network Intrusion Detection System,NIDS)，包括基于特征的网络入侵检测技术和最新的基于机器学习的网络入侵检测技术。基于特征的网络入侵检测一般会构建一个攻击流量特征数据库，通过对数据包或流内是否包含已知的攻击特征来判断是否存在网络入侵。这些检测系统往往无法有效的检测零日攻击(zero-day attack)或不包含在特征数据库和训练数据集内的恶意行为。基于机器学习的网络入侵检测会对正常流量和攻击流量的行为进行特征提取并使用机器学习模型进行建模，通过模型来推断流量中是否存在攻击行为。然而，由于物联网设备的多样性，各类设备的行为特征可能差异巨大，因此很难为所有类别的设备构建一个统一的行为模型。因此，在新型攻击不断涌现的物联网领域中，现有的检测系统无法对这些攻击进行有效的防御。
发明内容
本发明的主要目的在于提供一种流量异常检测方法、检测设备及计算机可读存储介质，旨在解决现有技术中针对物联网攻击检测效率低的问题。
为实现上述目的，本发明提供一种流量异常检测方法，所述流量异常检测方法包括如下步骤：
获取待测设备的网络流量；
对所述网络流量进行预处理，生成包序列；
针对每一个所述包序列，将该包序列输入与所述待测设备对应的检测模型中，并通过所述检测模型对该包序列进行编码和解码，得到该包序列对应的重构序列，其中，所述检测模型为与所述待测设备对应的自编码器；
根据所述重构序列，确定所述包序列对应的序列类型；
根据各个所述包序列对应的序列类型，确定所述网络流量对应的流量类型。
可选地，所述的流量异常检测方法，其中，所述对所述网络流量进行预处理，生成包序列，具体包括：
针对所述网络流量中的每一个数据包，对该数据包进行向量化，生成若干个第一向量；
针对每一个所述第一向量，根据预设的修改规则，对该第一向量进行修改，生成第二向量；
对该第二向量进行归一化，生成第三向量；
根据所述第三向量，生成所述网络流量对应的若干个包序列。
可选地，所述的流量异常检测方法，其中，所述根据所述第三向量，生成所述网络流量对应的若干个包序列，具体包括：
针对每一个所述数据包，根据该数据包对应的网络连接，确定与该数据包对应的样本矩阵；
依次将所述第三向量填入所述样本矩阵，生成所述网络流量对应的包序列。
可选地，所述的流量异常检测方法，其中，所述针对每一个所述数据包，根据该数据包对应的网络连接，确定与所述第三向量对应的样本矩阵之前，还包括：
获取若干个终端设备的设备类型和各个所述终端设备的网络数据，其中，所述设备类型包括流数据类和控制类；
对同一设备类型的终端设备对应的五元组流进行采样，得到各个所述设备类型对应的流样本数量；
针对每一个所述设备类型，根据该设备类型对应的五元组流和流样本数量，计算该设备类型对应的矩阵长度；
根据所述矩阵长度，确定所述样本矩阵的大小。
可选地，所述的流量异常检测方法，其中，所述自编码器的训练过程包括：
获取若干个训练数据；
针对每一个所述训练数据，将该训练数据输入预设的自编码器中，所述自编码器对所述训练数据进行编码和解码，得到该训练数据对应的结果数据；
计算所述训练数据和所述结果数据之间的训练误差，并根据所述训练误差调整所述自编码器的参数，直至所述自编码器收敛。
可选地，所述的流量异常检测方法，其中，所述根据所述重构序列，确定所述包序列对应的流量类型，具体包括：
计算所述包序列和所述重构序列之间的重构误差；
将所述重构误差输入异常点检测模型，并通过所述异常点检测模型根据所述重构误差，确定所述包序列对应的流量类型。
可选地，所述的流量异常检测方法，其中，所述将所述重构误差输入异常点检测模型，并通过所述异常点检测模型根据所述重构误差，确定所述包序列对应的流量类型之前，还包括：
将所述训练误差输入所述异常点检测模型，并通过所述异常点检测模型计算与所述训练误差对应的误差阈值。
可选地，所述的流量异常检测方法，其中，所述将所述重构误差输入异常点检测模型，并通过所述异常点检测模型根据所述重构误差，确定所述包序列对应的序列类型，具体包括：
将所述重构误差输入所述异常点检测模型，并通过所述异常点检测模型判断所述重构误差是否小于或等于所述误差阈值；
若是，则确定所述包序列对应的序列类型为正常序列；
若否，则确定所述包序列对应的序列类型为异常序列。
此外，为实现上述目的，本发明还提供一种检测设备，其中，所述检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的流量异常检测程序，所述流量异常检测程序被所述处理器执行时实现如上所述的流量异常检测方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有流量异常检测程序，所述流量异常检测程序被处理器执行时实现如上所述的流量异常检测方法的步骤。
本发明提供一种流量异常检测方法、检测设备和计算机可读存储介质。针对一个物联网设备，先获取该设备的网络流量，然后对网络流量进行分段打包，生成若干个包序列。然后针对每一个包序列，输入已训练的自编码器中。自编码器包含编码器和解码器，通过对输入的数据进行编码和解码，从而得到一个重构结构。在本实施例中，先通过对自编码器的训练，使其能够较为准确地对输入的数据编码和解码之后得到的数据与输入数据之间的误差在一定范围内。因此，当将包序列输入编码器中时，自编码器通过编码和解码得到包序列对应的重构序列。然后根据重构序列与包序列之间的误差，确定两者的误差是否在根据训练得到的误差范围内，从而确定每一个包序列对应的序列类型，进而判断所捕捉到的网络流量是否为异常流量。
附图说明
图1是本发明流量异常检测方法提供的较佳实施例的流程图；
图2是本发明流量异常检测方法提供的较佳实施例中物联网异常检测模块的示意图；
图3是本发明流量异常检测方法提供的较佳实施例中对包序列进行序列类型确定的流程示意图；
图4是本发明检测设备的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的流量异常检测方法，该流量异常检测方法可由检测设备、物联网边缘设备等。本实施例以物联网中的边缘设备作为执行主体进行流量异常检测过程的描述。边缘设备与物联网中的注册检测服务的待测设备进行通讯连接。与如图1所述，所述流量异常检测方法包括以下步骤：
步骤S100，获取网络流量。
具体地，在本实施例中，边缘设备包括物联网异常检测模块。它将从待测设备流出的网络流量作为输入，并对网络流量进行处理。
如图2所示，本实施例中根据物联网异常检测模块的功能，将其分为三个部分，包括捕捉器、预处理器和设备检测器组。
捕捉器是整个异常检测模块的入口，它会抓取所有流经边缘设备的物联网流量。每一个注册该检测服务的待测设备D会与边缘设备建立一条隧道连接，该隧道连接可以表示为：c＝{addrD，addrE，pD，pE，*}。该隧道连接会将所有从待测设备发向外网的网络流量流经边缘设备。
当从待测设备D向边缘设备发送网络流量时，捕捉器捕捉网络流量，并将其输入异常检测模块中的预处理器。
步骤S200，对所述网络流量进行预处理，生成包序列。
具体地，预处理器的作用是将网络流量转换为机器学习模型可以输入的数据形式。目前方便计算的数据形式主要为向量形式，因此，以向量化为例进行说明。僵尸网络流量往往会展现出独特的序列特征，例如，连续的小数据包可能代表一条命令和控制(Command and Control，C&C)连接正在等待接收攻击命令。因此，本实施例中，预处理器会将一组连续的数据包转化为一个序列数据样本，这样可以较好的揭示数据包之间的序列关系。
网络流量是由若干个数据包组成的，预处理器在收到网络流量时，先对网络流量中的每一个数据包进行向量化，得到若干个第一向量。根据数据包中的数据流入时间，对数据包中的数据进行排序，得到排序结果，然后根据排序结果中每一个数据的序号，将每一个数据包的字节进行排序整合，得到第一向量。其中，本实施例中用于排序整合的字节为比特，每个比特的数值在0到255之间。因此在特征提取方面，预处理器借鉴了深度学习在计算机视觉上的应用，使用数据包的原始字节作为特征，并使用深度学习来自动化的提取潜在特征，大幅减少了对基于专业知识的特征工程的依赖。
由于在进行及其学习的过程中容易出现过拟合的问题，因此需要对第一向量进行部分修改，减少过拟合的出现。然后针对每一个所述第一向量，根据预设的修改规则，对该第一向量进行修改，生成第二向量。本实施例中的修改规则包括预设的多个对第一向量进行修改的规则，本实施例中，修改规则中包括修改第一向量中本地网络配置字段的修改规则。基于该修改规则，数据链路层会被移除，网际互连协议(Internet Protocol，IP)地址会被零屏蔽，即原有的IP地址会被相同长度的0代替。此外，考虑到机器学习模型要求输入的长度是固定的，本实施例中，所述修改规则还包括对所述第一向量进行填补。每一个数据包都会被补零到最大传输单元(MaximumTransmission Unit，MTU)的长度，即1500字节，得到第二向量，保证数据包中数据的信息量被完整保留。
为了得到更好的收敛效果，预处理器再对该第二向量进行归一化，生成第三向量。本实施例中，将第二向量中的每一个字节除以字节的最大值255，转换成一个介于0到1之间的值。至此，一个数据包被转化成了一个1500维的第三向量，即：
其中，bn(n∈[1，d])为该数据包对应的每一个字节，T为转置，bn∈[0，1]，d即前文的第三向量的维数，为1500。
然后预处理器根据所述第三向量，生成所述网络流量对应的若干个包序列。在本实施例的第一种实现方式中，直接将来源于同一个待测设备的网络流量所对应的第三向量作为对应的包序列，进行后续的分析。
由于不同的网络连接对应的服务功能不同，因此在数据上可能存在一定的相似性。例如某一待测设备为智能电视，智能电视包括拍摄、录音、视频流获取等功能，而不同的功能所对应的连接端口会存在差异，从而导致不同的连接负责不同的活动。因此，预处理将来自于同一个连接的数据包进行数据包聚合。同一个连接即指与相同IP地址或域名使用相同的端口号建立的连接，例如该智能电视的摄像头和域名“google.com”使用端口8080发送的所有数据包可视为来自于同一个连接，则智能电视发送的网络流量中来源于与端口8080建立连接的数据包归为一类。并且将聚合后的数据包采用一个滑动窗口进行缓存，而每一个滑动窗口可视为一个矩阵。
针对每一个待测设备，根据网络连接的不同，设置若干个不同的先进先出的空白矩阵。由于在实际处理中，预处理器是根据时间顺序依次处理的，因此在获取数据包时，针对每一个所述数据包，根据该数据包对应的网络连接，确定与该数据包对应的样本矩阵。当样本矩阵中不存在数据时，样本矩阵即预设的空白矩阵。依次将所述第三向量填入所述样本矩阵，生成网络流量对应的包序列，即样本矩阵会存储来自于同一条连接ci的连续数据包并组成序列数据样本。如果
被填满，则输出一个包序列X，如下所示：
在本实施例的第一种实施方式中，在每一次填入后，判断样本矩阵是否被填满，若是，则将填满后的样本矩阵作为网络流量对应的包序列；若否，则所述样本矩阵继续等待后续的第三向量，直至被填满。此过程可视为样本矩阵在依次输入的第三向量组成的序列上以矩阵长度为单位进行间隔采样。在本实施例的第二种实施方式中，先将空白的样本矩阵填满，当每得到一个第三向量时，将所述样本矩阵中最先填入的第三向量排除，并写入新得到的样本矩阵，得到新的包序列。此过程可视为样本矩阵在依次输入的第三向量组成的序列上以单个向量为单位进行采样。其中，经过试验，第二种实施方式会导致需要检测的序列样本过多从而降低效率，而且第一张实施方式和第二种实施方式得到的检测效果差异不大，因此本实施例以第一种实施方式为例进行后续描述。
值得注意的是，本实施例中的样本矩阵的大小中的行数为前文的维数d，列数可随机设置。考虑到功能的不同，终端设备可以被分类为流数据类设备和控制类设备，前者如智能电视、摄像头，后者如智能点灯，WiFi插座。一般而言，流数据类设备的数据流长度较长，控制类设备的数据流长度较短。而针对序列模型，序列长度越长，包含的信息量越大，但学习的难度也越大。因此当为了实现针对不同设备类型的待测设备也能进行准确的识别，需要平衡信息量和训练难度，减少精确度的偏差。本实施例中，预处理器在设置空白矩阵之前，会获取若干个终端设备的设备类型和各个所述终端设备的网络数据，其中，设备类型就包括流数据类和控制类。对来源同一设备类型的五元组流进行采样，并计算流样本的数量。然后根据五元组流和流样本数量，计算该设备类型对应的矩阵长度。本实施例中采用的计算方式为根据预设的窗口长度公式，确定矩阵长度。窗口长度公式为：
其中，fi代表采样的五元组流，k代表流样本数量。计算得到矩阵长度后，将矩阵长度作为样本矩阵的列数，将向量维数作为样本矩阵的行数，及确定了样本矩阵的大小。
步骤S300，针对每一个所述包序列，将该包序列输入与所述待测设备对应的检测模型中，并通过所述检测模型对该包序列进行编码和解码，得到该包序列对应的重构序列，其中，所述检测模型为与所述待测设备对应的自编码器。
在本实施例中，由于捕捉工作和预处理工作，不同的待测设备之间不存在较大差异，且计算简单，可同时进行大量数据的处理。因此物联网异常模块中，不同的待测设备可使用一个捕捉器和预处理器进行处理，但不同的待测设备的正常流量不同，因此每一个待测设备所对应的设备检测器是不同的。本实施例中，每当物联网中增加一个新的待测设备时，都从本地或者云端获取一个与该待测设备对应的设备检测器，从而得到由多个设备检测器构成的设备检测器组。设备检测器包括个自编码器和一个异常点设备检测器，其中，自编码器可采用收缩自编码器、正则自编码器等，本实施例中所选用的自编码器为一个长短记忆自编码器。而异常点设备检测器包含一个异常点检测算法，可以达到对自编码器编码后的数据进行异常点检测。
得到包序列后，预处理器再将包序列发送至设备检测器组。如图3所示，其中，连接1为安全传输层协议(Transport Layer Security，TLS)格式的流量，连接2为用户数据包协议(User Datagram Protocol，UDP)格式的流量。本实施例以连接1的TLS格式的网络流量生成的包序列为例，进行检测的描述。
在得到包序列之后，将包序列输入本实施例中的已训练的自编码器，本实施例采用的自编码器为长短期记忆自编码器。长短期记忆自编码是一种无监督模型，能够将输入的包序列转换为另一个序列。一个自编码器在训练时，需要编码器、解码器和全连接层联合训练。先收集大量的通过对正常数据进行上述的预处理过程的到的数据作为训练数据，本实施例中的正常数据是指一般状态下传输数据，相对而言，异常数据为用于攻击的传输数据，例如僵尸数据。编码器其首先将输入的训练数据压缩成一个低纬度的潜在隐式表达，对于一个输入的训练数据
每一个
遵循以下变换：
ct＝ft·ct-1+it·lt；
ht＝ot·tanh(ct)。
其中，在长短期记忆自编码模型中，序列要依次处理，因此将t代表时间序列的时刻，t-1表示上一个时刻网络的输出值；c表示某一时刻的单元状态；[]表示将两个向量连接成一个更长的向量；σ表示激活函数sigmoid；tanh表示激活函数tanh；长短期记忆自编码模型由三个门组成，每个门是一个由权重矩阵Wq和偏置项bq(q∈[l，o，i])组成的全连接层。三个门分别为遗忘门(forgetgate)、输入门(inputgate)和输出门(output gate)。遗忘门决定了上一时刻的单元状态ct-1有多少保留到当前时刻，可以保存很久之前的信息，Wf表示遗忘门的权重矩阵，bf是遗忘门的偏置项；输入门决定了当前时刻网络的输入
有多少保存到单元状态ct，可以避免当前无关紧要的内容输入记忆，Wi表示输入门的权重矩阵，bi是输入门的偏置项；输出门决定了单元状态ct有多少输出到LSTM当前时刻的输出值ht，Wo表示输出门的权重矩阵，bo是输出门的偏置项。lt用于描述当前输入的单元状态，使用遗忘门值ft乘以上一时刻单元状态ct-1，再使用输入门值it乘以lt，二者相加得到当前时刻的单元状态ct，再使用输出门值ot乘以ct的tanh激活值即可得到当前时刻的输出值ht。ht即时间戳为t的隐式表达。之后，解码器使用和编码器相同的神经元数量将隐式表进行解码，得到一个高维度表达。最后，全连接层将该表达映射为一个与输入的训练序列长度和维度相同的结果序列，记作
然后根据预设的损失函数，计算结果序列和训练序列之间得到差异，得到两者之间的训练误差。本实施例中计算两者之间训练误差的方式为均方根误差(Root MeanSquare Error，RMSE)，公式如下：
RMSE可以被解释为自训练序列进行重构产生的误差，然后基于误差值反向传输回自编码器中，调整模型的参数，以实现最小化训练序列和结果序列之间的差异。
对编码器和解码器训练完成后，由于在自编码器训练的过程中，采用的训练数据为正常数据，因此在推断阶段，由异常数据得到的误差值会偏离由正常数据得到的误差值，因此可检测出异常。
将前文获取的包序列输入已训练的自编码器中，自编码器对其像对待训练数据一样进行编码和解码，从而对该包序列进行重构，生成该包序列对应的重构序列。
在本实施例的第一种实现方式中，预先设定一个重构误差阈值，当得到包序列对应的重构序列后，根据对自编码器进行训练时采用的损失函数，计算该包序列与重构序列之间的误差，得到重构误差，然后判断重构误差是否在重构误差阈值范围内，从而确定该包序列是否为异常序列。
在本实施例的第二种实现方式中，在对自编码器进行训练过程中，将所述训练误差输入所述异常点检测模型，并通过所述异常点检测模型计算与所述训练误差对应的误差阈值。通过多种模型对比以及实现，本实施例所选用的异常点检测算法中的新奇点检测算法，而非离群点检测算法，本实施例将新奇点计策算法中的单类支持向量机作为优选的异常点设备检测器。单类支持向量机是一种典型的高效的新奇点检测算法。因此当重构误差输入异常点设备检测器中，异常点设备检测器可判断所述重构误差是否小于或等于所述误差阈值。若是，则确定所述包序列对应的流量类型为正常流量；若否，则确定所述包序列对应的流量类型为异常流量。
步骤S400，根据各个所述包序列对应的序列类型，确定所述网络流量对应的流量类型。
具体地，在得到了每一个包序列对应的序列类型后，由于包序列对应网络流量中的数据包，因此对包序列的序列类型的判断可视作对网络流量中正常数据包的分布情况的判断，从而可进一步确定网络流量的流量类型。
例如多个包序列对应的网络连接为网络连接A，且对应的序列类型都为异常序列，则将与网络连接A进行传输的数据包确定为异常流量数据，从而该终端设备的网络流量类型为流量异常，该终端设备可能是异常设备，即被攻击设备或攻击设备。
之后，物联网异常检测模块可根据检测结果，生成与该待测设备对应的检测报告并发送至管理平台。检测报告可定时发送，或当检测结果为异常设备时，再将检测报告发送至管理平台。这一过程可基于物联网异常检测系统实现。在实际工作时，可将捕捉器、预处理器和设备检测器进行拆分部署。本实施例中的物联网检测系统分为三个部分，一个终端设备，即物联网设备，一个是边缘设备，其为距离终端设备较近的检测设备，最后是云端，用于集中处理各个边缘设备传输的检测结果。
目前用于物联网异常检测的部署的主要应用场景分为两个类型，一个是以物联网网关为代表的网关设备，例如家用无线路由器，该类边缘设备的计算资源一般比较弱，常见于智能家居的使用场景；另一类边缘设备是边缘服务器，该类边缘设备的资源更充足，常用于智慧城市、工业物联网、企业物联网或较大规模的家用物联网。为了能够同时适配这两种不同类型的边缘设备的资源差异，本模块会根据所使用的边缘设备类型，采用两种不同的运行模式。
针对每一个终端设备，该终端设备在未加入物联网之前，先向边缘设备发送连接请求。边缘设备包括请求模块和检测模块。连接请求主要用于向边缘设备提出加入物联网的请求。当接收到所述终端设备发送的连接请求时，请求模块与所述终端设备建立通讯连接。其中，还可预先设定一个加入规则，只有符合该加入规则的终端设备才可加入物联网。在终端设备加入物联网后，边缘设备将该终端设备作为待测设备，每次终端设备向外界发送网络流量时，捕捉网络流量，并进行网络流量检测。
在本实施例中，由于每一个终端设备的发送网络流量的时间不一致，可能存在时间交叉重叠的现象，为了有效地对每一个加入物联网的终端设备能够及时地被检测，因此，请求模块在与所述终端设备建立通讯连接，还向所述云端发送检测请求，以获得用于检测的检测文件。
根据不同的使用场景，物联网系统中存在两种较为典型的作为云边端系统的边缘设备的类型：一类是以物联网网关为代表的网关设备，例如家用无线路由器，该类边缘设备的计算资源一般比较弱，常见于智能家居、智能办公等使用场景；另一类是边缘服务器，例如由阿里云Link IoT Edge或亚马逊AWS IoTGreengrass支持的边缘主机，该类边缘设备的资源更充足，常用于智慧城市、工业物联网、企业物联网或较大规模的家用物联网。为了能够同时适配这两种不同类型的边缘设备的资源差异，本实施例会根据所使用的边缘设备类型，采用两种不同的运行模式。
针对物联网网络这一应用场景下，使用网关设备来提供异常检测服务的主要挑战在于资源短缺，尤其是对于基于机器学习算法的检测系统。当物联网网络中的终端设备的数量持续增加时，网关设备会相应的从云端请求更多的设备检测器，而网关设备的算力有限，因此在存在更多的设备检测器时，会引起处理效率降低，资源的进一步短缺，导致处理延迟、影响网关正常功能等负面效果。因此在本实施例中，采用多网关协同模式，通过协同利用多个网关的资源，我们可以减少单个网关的资源消耗压力。
本实施例中云端包括接收模块、查找模块和发送模块，这些模块之间彼此通讯连接。
接收模块用于接收边缘设备的检测请求。当所述边缘设备为网关设备时，查找模块根据所述网关设备对应的网关状态，确定所述网关设备对应的检测文件。
在本实施例的第一种实现方式中，在网关设备发送的检测请求中可包含网关设备对自身评估得到的网关状态，查找模块根据网关状态直接确定该网关设备对应的检测文件。
在本实施例的第二种实现方式中，查找模块确定网关设备对应的网关状态通过负载状态表实现。网关设备先对自身的资源进行资源评估，并根据评估的资源，设定一个在保持检测效率的基础上，所能够负载的设备检测器的最大数量，将最大数值记为预期数量，记为
其中E1为该网关设备的编号。网关设备每次得到一个检测文件时，计算当前的设备检测器的数量，将其作为当前数量，记为
然后比较当前数量和预期数量的大小，并根据两者的大小，对网关设备的负载状态进行更新。若
则说明当前网关设备的网关状态为空闲状态，即还可再在该网关设备中增加设备检测器的数量，将负载状态
的数值更新为1，可表示为
若否，则说明当前网关设备的网关状态为过载状态，即已经过负荷工作，再增加设备检测器的数量会导致检测效率降低，将负载状态
的数值更新为0，可表示为
每对负载状态进行更新，网关设备都将负载状态发送至云端。云端再根据每一个网关设备的设备地址和其对应的负载状态汇总为负载状态表。当负载状态表中该网关设备对应的数值为0时，确定该网关设备的网关状态为过载状态；对应的数值为1时，确定该网关设备的网关状态为空闲状态。确定了网关状态后，查找模块再根据网关状态确定其对应的检测文件。
在本实施例中，若网关状态为空闲状态，则直接将该网关设备对应的设备检测器作为检测文件发送至该网关设备；若为过载状态，则根据该网关设备的地址，查找其对应的中转设备，同时将设备检测器发送至所述中转设备，以及将所述中转设备的设备地址作为检测文件中的中转地址发送至所述网关设备。在本实施例的第一种实现方式中，中转设备可以是预先设定的专用于对边缘终端所捕获的网络流量进行流量检测的设备。在本实施例的第二种实现方式中，中转设备是与云端连接的多个边缘设备的一员，云端先通过负载状态表中的负载状态值和各个边缘设备的地址，查找边缘设备中距离发出检测请求的网关设备较近且网关状态为空闲状态的网关设备，并将这一网关设备作为发出检测请求的网关设备对应的中转设备。
若检测文件是设备检测器，则网关设备基于设备检测器可对终端设备进行网络流量检测。若检测文件是中转地址，则网关设备根据所述设备地址，与所述中转设备建立通讯连接，并基于中转设备的设备检测器，对终端设备对外发出的网络流量进行网络流量检测，以达到多个网关设备协同工作的效果，提高边缘设备所能够进行网络流量检测的检测效率。
对于大型物联网网络，边缘设备也可以是某种部署在靠近位置的边缘服务器，例如个人电脑、本地服务器或边缘云。相较于网关设备，边缘服务器一般具备更充足的计算资源来支持更复杂的进程。在大型物联网网络中，由于终端设备众多，不同终端设备的行为模式会与本地环境和用户偏好有更好的相关度。例如，一部分用户偏向使用app控制一台Wi-Fi摄像头，而一些用户则倾向使用语音助手与之交互。这种情况下，即使是相同类型的终端设备也可能呈现差异较大的流量特征，同一训练的设备检测器可能无法包含不同使用情况下的所有特征，因此误警率会有所上升。
在本实施例中，采用自适应模式进行边缘服务器的网络流量的检测。自适应模式主要是通过对设备检测器的微调，使之变为更加适应本地环境和用户偏好的特定设备检测器。由于边缘服务器的计算能力更充足，在边缘设备上对设备检测器进行再训练是可行的。设备检测器使用来自当前环境下的终端设备发出的网络流量进行再训练，可以更好的对当前使用偏好进行活动侧写，使设备检测器更加适应当前环境。边缘服务器包括采集模块、调整模块和流量检测模块。
首先，当边缘设备为边缘服务器时，云端的发送模块还将与所述边缘服务器对应的设备检测器作为检测文件发送至所述边缘服务器。边缘服务器接收到终端设备发送的网络流量时，先采集一定时间区间内的网络流量作为调整流量。大部分的终端设备在接入物联网后，流量行为会发生一定的偏好变化，但经过一段时间趋于稳定，可将其作为正常的网络流量。不同的终端设备的设备类型趋于稳定的时间不同，例如交互性较强的语音助手的行为会更为复杂，因此预先为不同类型的终端设备设置不同的监控时间，在捕捉网络流量时，根据这一监控时间，采集网络流量作为用于调整设备检测器的调整流量T。然后基于流量数据调整流量，对所述设备检测器进行参数调整，得到微调设备检测器。边缘服务器包括调整模块，调整模块用于对设备检测器进行微调。
在本实施例的第一种是实现方式中，是对设备检测器中的所有组分，包括自编码器和异常点设备检测器。这一种方式虽然微调效果更好，但是计算资源更多，耗时更长。在第二种实现方式中，微调的对象只有全连阶层以及异常点设备检测器。一方面因为全连阶层和异常点设备检测器的主要任务是提取潜在特征，这一过程对于同类型的设备来说是基本一致的；另一方面是训练这两层需要的计算资源更多，耗时更长，而只训练全连接层和异常点设备检测器可以大幅减少再训练时间，从而减少在再训练过程中设备被感染的可能性。经过试验，只需要使用少量的采样自本地环境和用户偏好的调整流量对设备检测器进行再训练，就可以使调整后得到的微调设备检测器的误警率大幅减少。在得到微调设备检测器后，再基于所述微调设备检测器，对终端设备进行流量检测。
进一步地，如图4所述，基于上述流量异常检测方法，本发明还相应提供了一种检测设备，所述检测设备包括处理器10、存储器20及显示器30。图4仅示出了检测设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述检测设备的内部存储单元，例如检测设备的硬盘或内存。所述存储器20在另一些实施例中也可以是所述检测设备的外部存储设备，例如所述检测设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Ca rd)等。进一步地，所述存储器20还可以既包括所述检测设备的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述检测设备的应用软件及各类数据，例如所述安装检测设备的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有流量异常检测程序40，该流量异常检测程序40可被处理器10所执行，从而实现本申请中流量异常检测方法。
所述处理器10在一些实施例中可以是一中央处理器(Centr al ProcessingUnit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述流量异常检测方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述检测设备的信息以及用于显示可视化的用户界面。所述检测设备的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中流量异常检测程序40时实现以下步骤：
获取待测设备的网络流量；
对所述网络流量进行预处理，生成包序列；
针对每一个所述包序列，将该包序列输入与所述待测设备对应的检测模型中，并通过所述检测模型对该包序列进行编码和解码，得到该包序列对应的重构序列，其中，所述检测模型为与所述待测设备对应的自编码器；
根据所述重构序列，确定所述包序列对应的序列类型；
根据各个所述包序列对应的序列类型，确定所述网络流量对应的流量类型。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有流量异常检测程序，所述流量异常检测程序被处理器执行时实现如上所述的流量异常检测方法的步骤。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种流量异常检测方法，其特征在于，所述流量异常检测方法包括：
获取待测设备的网络流量；
对所述网络流量进行预处理，生成包序列；
针对每一个所述包序列，将该包序列输入与所述待测设备对应的检测模型中，并通过所述检测模型对该包序列进行编码和解码，得到该包序列对应的重构序列，其中，所述检测模型为与所述待测设备对应的自编码器；
根据所述重构序列，确定所述包序列对应的序列类型；
根据各个所述包序列对应的序列类型，确定所述网络流量对应的流量类型。
2.根据权利要求1所述的流量异常检测方法，其特征在于，所述对所述网络流量进行预处理，生成包序列，具体包括：
针对所述网络流量中的每一个数据包，对该数据包进行向量化，生成若干个第一向量；
针对每一个所述第一向量，根据预设的修改规则，对该第一向量进行修改，生成第二向量；
对该第二向量进行归一化，生成第三向量；
根据所述第三向量，生成所述网络流量对应的若干个包序列。
3.根据权利要求2所述的流量异常检测方法，其特征在于，所述根据所述第三向量，生成所述网络流量对应的若干个包序列，具体包括：
针对每一个所述数据包，根据该数据包对应的网络连接，确定与该数据包对应的样本矩阵；
依次将所述第三向量填入所述样本矩阵，生成所述网络流量对应的包序列。
4.根据权利要求2所述的流量异常检测方法，其特征在于，所述针对每一个所述数据包，根据该数据包对应的网络连接，确定与所述第三向量对应的样本矩阵之前，还包括：
获取若干个终端设备的设备类型和各个所述终端设备的网络数据，其中，所述设备类型包括流数据类和控制类；
对同一设备类型的终端设备对应的五元组流进行采样，得到各个所述设备类型对应的流样本数量；
针对每一个所述设备类型，根据该设备类型对应的五元组流和流样本数量，计算该设备类型对应的矩阵长度；
根据所述矩阵长度，确定所述样本矩阵的大小。
5.根据权利要求4所述的流量异常检测方法，其特征在于，所述自编码器的训练过程包括：
获取若干个训练数据；
针对每一个所述训练数据，将该训练数据输入预设的自编码器中，所述自编码器对所述训练数据进行编码和解码，得到该训练数据对应的结果数据；
计算所述训练数据和所述结果数据之间的训练误差，并根据所述训练误差调整所述自编码器的参数，直至所述自编码器收敛。
6.根据权利要求5所述的流量异常检测方法，其特征在于，所述根据所述重构序列，确定所述包序列对应的流量类型，具体包括：
计算所述包序列和所述重构序列之间的重构误差；
将所述重构误差输入异常点检测模型，并通过所述异常点检测模型根据所述重构误差，确定所述包序列对应的流量类型。
7.根据权利要求1所述的流量异常检测方法，其特征在于，所述将所述重构误差输入异常点检测模型，并通过所述异常点检测模型根据所述重构误差，确定所述包序列对应的流量类型之前，还包括：
将所述训练误差输入所述异常点检测模型，并通过所述异常点检测模型计算与所述训练误差对应的误差阈值。
8.根据权利要求7所述的流量异常检测方法，其特征在于，所述将所述重构误差输入异常点检测模型，并通过所述异常点检测模型根据所述重构误差，确定所述包序列对应的序列类型，具体包括：
将所述重构误差输入所述异常点检测模型，并通过所述异常点检测模型判断所述重构误差是否小于或等于所述误差阈值；
若是，则确定所述包序列对应的序列类型为正常序列；
若否，则确定所述包序列对应的序列类型为异常序列。
9.一种检测设备，其特征在于，所述检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的流量异常检测程序，所述流量异常检测程序被所述处理器执行时实现如权利要求1-8任一项所述的流量异常检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有流量异常检测程序，所述流量异常检测程序被处理器执行时实现如权利要求1-8中任一项所述的流量异常检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110583803.4A CN113364752B (zh) | 2021-05-27 | 2021-05-27 | 一种流量异常检测方法、检测设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110583803.4A CN113364752B (zh) | 2021-05-27 | 2021-05-27 | 一种流量异常检测方法、检测设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113364752A true CN113364752A (zh) | 2021-09-07 |
| CN113364752B CN113364752B (zh) | 2023-04-18 |
Family
ID=77527848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110583803.4A Active CN113364752B (zh) | 2021-05-27 | 2021-05-27 | 一种流量异常检测方法、检测设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113364752B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114168583A (zh) * | 2021-12-15 | 2022-03-11 | 国网福建省电力有限公司营销服务中心 | 一种基于正则自动编码器的电量数据清洗方法及系统 |
| CN114363212A (zh) * | 2021-12-27 | 2022-04-15 | 绿盟科技集团股份有限公司 | 一种设备检测方法、装置、设备和存储介质 |
| CN114520736A (zh) * | 2022-01-24 | 2022-05-20 | 广东工业大学 | 一种物联网安全检测方法、装置、设备及存储介质 |
| CN114615026A (zh) * | 2022-02-22 | 2022-06-10 | 国网宁夏电力有限公司信息通信公司 | 异常流量检测方法、装置及电子设备 |
| CN114645844A (zh) * | 2022-05-23 | 2022-06-21 | 蘑菇物联技术（深圳）有限公司 | 确定空压站的流量状态的方法、计算设备和计算机介质 |
| CN114785617A (zh) * | 2022-06-15 | 2022-07-22 | 北京金汇创企业管理有限公司 | 一种5g网络应用层异常检测方法及系统 |
| CN115964636A (zh) * | 2022-12-23 | 2023-04-14 | 浙江苍南仪表集团股份有限公司 | 基于机器学习和动态阈值的燃气流量异常检测方法及系统 |
| CN116055413A (zh) * | 2023-03-07 | 2023-05-02 | 云南省交通规划设计研究院有限公司 | 一种基于云边协同的隧道网络异常识别方法 |
| CN117527449A (zh) * | 2024-01-05 | 2024-02-06 | 之江实验室 | 一种入侵检测方法、装置、电子设备以及存储介质 |
| CN117675622A (zh) * | 2024-01-15 | 2024-03-08 | 广东云百智联科技有限公司 | 一种物联网设备流量可视化展示系统 |
| CN118070850A (zh) * | 2024-04-18 | 2024-05-24 | 清华大学 | 数据中心网络流量生成方法、装置、介质及计算机程序 |
| WO2024193226A1 (en) * | 2023-03-23 | 2024-09-26 | Abb Schweiz Ag | Method, apparatus, system and medium for anomaly detection in industrial networks |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101753381A (zh) * | 2009-12-25 | 2010-06-23 | 华中科技大学 | 一种检测网络攻击行为的方法 |
| CN106254394A (zh) * | 2016-09-29 | 2016-12-21 | 北京神州绿盟信息安全科技股份有限公司 | 一种攻击流量的记录方法和装置 |
| CN106411597A (zh) * | 2016-10-14 | 2017-02-15 | 广东工业大学 | 一种网络流量异常检测方法及系统 |
| CN109615019A (zh) * | 2018-12-25 | 2019-04-12 | 吉林大学 | 基于时空自动编码器的异常行为检测方法 |
| CN111553381A (zh) * | 2020-03-23 | 2020-08-18 | 北京邮电大学 | 基于多网络模型的网络入侵检测方法、装置及电子设备 |
| CN111953504A (zh) * | 2019-05-15 | 2020-11-17 | 中国电信股份有限公司 | 异常流量检测方法和装置、计算机可读存储介质 |
| CN112329713A (zh) * | 2020-11-25 | 2021-02-05 | 恩亿科(北京)数据科技有限公司 | 网络流量异常在线检测方法、系统、计算机设备及存储介质 |
| CN112398779A (zh) * | 2019-08-12 | 2021-02-23 | 中国科学院国家空间科学中心 | 一种网络流量数据分析方法及系统 |
| CN112788066A (zh) * | 2021-02-26 | 2021-05-11 | 中南大学 | 物联网设备的异常流量检测方法、系统及存储介质 |
-
2021
- 2021-05-27 CN CN202110583803.4A patent/CN113364752B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101753381A (zh) * | 2009-12-25 | 2010-06-23 | 华中科技大学 | 一种检测网络攻击行为的方法 |
| CN106254394A (zh) * | 2016-09-29 | 2016-12-21 | 北京神州绿盟信息安全科技股份有限公司 | 一种攻击流量的记录方法和装置 |
| CN106411597A (zh) * | 2016-10-14 | 2017-02-15 | 广东工业大学 | 一种网络流量异常检测方法及系统 |
| CN109615019A (zh) * | 2018-12-25 | 2019-04-12 | 吉林大学 | 基于时空自动编码器的异常行为检测方法 |
| CN111953504A (zh) * | 2019-05-15 | 2020-11-17 | 中国电信股份有限公司 | 异常流量检测方法和装置、计算机可读存储介质 |
| CN112398779A (zh) * | 2019-08-12 | 2021-02-23 | 中国科学院国家空间科学中心 | 一种网络流量数据分析方法及系统 |
| CN111553381A (zh) * | 2020-03-23 | 2020-08-18 | 北京邮电大学 | 基于多网络模型的网络入侵检测方法、装置及电子设备 |
| CN112329713A (zh) * | 2020-11-25 | 2021-02-05 | 恩亿科(北京)数据科技有限公司 | 网络流量异常在线检测方法、系统、计算机设备及存储介质 |
| CN112788066A (zh) * | 2021-02-26 | 2021-05-11 | 中南大学 | 物联网设备的异常流量检测方法、系统及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 孙旭日等: "结合二次特征提取和LSTM-Autoencoder的网络流量异常检测方法", 《北京交通大学学报》 * |
| 孙旭日等: "结合二次特征提取和LSTM-Autoencoder的网络流量异常检测方法", 《北京交通大学学报》, no. 02, 15 April 2020 (2020-04-15), pages 17 - 22 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114168583A (zh) * | 2021-12-15 | 2022-03-11 | 国网福建省电力有限公司营销服务中心 | 一种基于正则自动编码器的电量数据清洗方法及系统 |
| CN114363212A (zh) * | 2021-12-27 | 2022-04-15 | 绿盟科技集团股份有限公司 | 一种设备检测方法、装置、设备和存储介质 |
| CN114363212B (zh) * | 2021-12-27 | 2023-12-26 | 绿盟科技集团股份有限公司 | 一种设备检测方法、装置、设备和存储介质 |
| CN114520736A (zh) * | 2022-01-24 | 2022-05-20 | 广东工业大学 | 一种物联网安全检测方法、装置、设备及存储介质 |
| CN114520736B (zh) * | 2022-01-24 | 2023-08-22 | 广东工业大学 | 一种物联网安全检测方法、装置、设备及存储介质 |
| CN114615026B (zh) * | 2022-02-22 | 2023-06-27 | 国网宁夏电力有限公司信息通信公司 | 异常流量检测方法、装置及电子设备 |
| CN114615026A (zh) * | 2022-02-22 | 2022-06-10 | 国网宁夏电力有限公司信息通信公司 | 异常流量检测方法、装置及电子设备 |
| CN114645844B (zh) * | 2022-05-23 | 2022-07-19 | 蘑菇物联技术（深圳）有限公司 | 确定空压站的流量状态的方法、计算设备和计算机介质 |
| CN114645844A (zh) * | 2022-05-23 | 2022-06-21 | 蘑菇物联技术（深圳）有限公司 | 确定空压站的流量状态的方法、计算设备和计算机介质 |
| CN114785617B (zh) * | 2022-06-15 | 2022-11-15 | 北京金汇创企业管理有限公司 | 一种5g网络应用层异常检测方法及系统 |
| CN114785617A (zh) * | 2022-06-15 | 2022-07-22 | 北京金汇创企业管理有限公司 | 一种5g网络应用层异常检测方法及系统 |
| CN115964636A (zh) * | 2022-12-23 | 2023-04-14 | 浙江苍南仪表集团股份有限公司 | 基于机器学习和动态阈值的燃气流量异常检测方法及系统 |
| CN115964636B (zh) * | 2022-12-23 | 2023-11-07 | 浙江苍南仪表集团股份有限公司 | 基于机器学习和动态阈值的燃气流量异常检测方法及系统 |
| CN116055413A (zh) * | 2023-03-07 | 2023-05-02 | 云南省交通规划设计研究院有限公司 | 一种基于云边协同的隧道网络异常识别方法 |
| CN116055413B (zh) * | 2023-03-07 | 2023-08-15 | 云南省交通规划设计研究院有限公司 | 一种基于云边协同的隧道网络异常识别方法 |
| WO2024193226A1 (en) * | 2023-03-23 | 2024-09-26 | Abb Schweiz Ag | Method, apparatus, system and medium for anomaly detection in industrial networks |
| CN117527449A (zh) * | 2024-01-05 | 2024-02-06 | 之江实验室 | 一种入侵检测方法、装置、电子设备以及存储介质 |
| CN117675622A (zh) * | 2024-01-15 | 2024-03-08 | 广东云百智联科技有限公司 | 一种物联网设备流量可视化展示系统 |
| CN117675622B (zh) * | 2024-01-15 | 2024-08-27 | 广东云百智联科技有限公司 | 一种物联网设备流量可视化展示系统 |
| CN118070850A (zh) * | 2024-04-18 | 2024-05-24 | 清华大学 | 数据中心网络流量生成方法、装置、介质及计算机程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113364752B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113364752B (zh) | 一种流量异常检测方法、检测设备及计算机可读存储介质 | |
| CN113452676B (zh) | 一种检测器分配方法和物联网检测系统 | |
| US8402543B1 (en) | Machine learning based botnet detection with dynamic adaptation | |
| CN109450842B (zh) | 一种基于神经网络的网络恶意行为识别方法 | |
| Om Kumar et al. | Detecting and confronting flash attacks from IoT botnets | |
| US10616267B2 (en) | Using repetitive behavioral patterns to detect malware | |
| Catak et al. | Distributed denial of service attack detection using autoencoder and deep neural networks | |
| CN111935170A (zh) | 一种网络异常流量检测方法、装置及设备 | |
| Li et al. | Adriot: An edge-assisted anomaly detection framework against iot-based network attacks | |
| CN112532642B (zh) | 一种基于改进Suricata引擎的工控系统网络入侵检测方法 | |
| US20240106836A1 (en) | Learning of malicious behavior vocabulary and threat detection | |
| CN113688291B (zh) | 一种流媒体网络数据的异常行为检测方法和装置 | |
| EP3732844A1 (en) | Intelligent defense and filtration platform for network traffic | |
| WO2019190403A1 (en) | An industrial control system firewall module | |
| Jose et al. | Towards detecting flooding DDOS attacks over software defined networks using machine learning techniques | |
| CN114866310A (zh) | 一种恶意加密流量检测方法、终端设备及存储介质 | |
| Alsulami et al. | IoT Protocol-Enabled IDS based on Machine Learning | |
| Dener et al. | RFSE-GRU: Data balanced classification model for mobile encrypted traffic in big data environment | |
| Okui et al. | Identification of an iot device model in the home domain using ipfix records | |
| CN112468509A (zh) | 一种基于深度学习技术的流量数据自动检测方法及装置 | |
| CN111291078A (zh) | 一种域名匹配检测方法及装置 | |
| Yang et al. | IoT botnet detection with feature reconstruction and interval optimization | |
| CN106961393B (zh) | 网络会话中udp报文的检测方法及装置 | |
| Bishnoi et al. | A deep learning-based methodology in fog environment for DDOS attack detection | |
| CN112968906A (zh) | 一种基于多元组的Modbus TCP异常通讯检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |