CN109639739A - 一种基于自动编码器网络的异常流量检测方法 - Google Patents
一种基于自动编码器网络的异常流量检测方法 Download PDFInfo
- Publication number
- CN109639739A CN109639739A CN201910094284.8A CN201910094284A CN109639739A CN 109639739 A CN109639739 A CN 109639739A CN 201910094284 A CN201910094284 A CN 201910094284A CN 109639739 A CN109639739 A CN 109639739A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- network
- autocoder
- hash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
一种基于自动编码器网络的异常流量检测方法,属于计算机网络和机器学习的交叉领域。本发明首先通过流量数据获取模块捕获数据;其次,通过数据预处理模块对数据进行预处理;再次,通过改进的多自动编码器网络输出流量数据的哈希编码;最后,采用基于数据分布比例的检测模块对得到的哈希编码进行异常检测多分类。本发明结合了神经网络和哈希编码的优势,利用哈希编码技术不仅降低了消耗的的存储空间和计算资源,还将只能应用于二分类入侵检测场景的KitNET自动编码器网络改进为多分类入侵检测方法,并设计了基于数据分布比例的流量哈希编码分类方法。本方法能够改善异常检测技术的运行速率及可扩展性,更适用解决当前新攻击类型层出不穷的异常检测问题。
Description
技术领域
本发明属于计算机网络和机器学习的交叉领域,涉及一种基于自动编码器网络的异常流量检测方法。
背景技术
如今随着接入互联网的应用设备不断普及,越来越多的业务需要依赖网络完成,由于网络攻击手段及攻击规模不断的迭代发展,网络入侵成为网络空间面临的最大威胁之一。入侵检测的主要目标是识别出网络与计算机系统中的异常行为和企图,攻击的种类多种多样,同时随着互联网的发展,各种新型的攻击层出不穷,传统的基于特征的攻击检测在时效性和泛化性上的缺陷导致新的攻击无法检测,因而难以适应目前网络环境需求。随着半导体技术的发展,计算机的计算能力有了大幅度的提升,神经网络由于其优秀的自学习能力、非线性化能力在图像识别等领域取得了显著的成果,因此越来越多的入侵检测技术也采用神经网络来提高检测的准确率。
目前,由于可以自学习优秀的特征表达,因此基于神经网络的异常检测方法被认为是最合适的。然而,当基于神经网络的异常检测方法真正在现实的应用场景中实施时,仍然存在一些瓶颈与问题。
首先,目前出现的基于神经网络的异常检测方法都采用复杂的网络结构甚至是深度神经网络来学习已有样本的特征,这通常需要大量的资源和计算能力才能够完成,而且大部分算法都是以监督的方式来进行训练,标注数据类别的过程是十分耗费时间和精力的,并且每当出现新一类流量的时候,就需要重新训练整个神经网络,否则无法得到正确的分类,需要保证手动不断地更新模型,才可以得到一个高准确度的入侵检测系统。Mirsky提出的KitNET是一种基于神经网络的高效无监督异常检测算法,但是却只能用于二分类异常检测,无法预测出入侵流量的不同攻击类别,在应用场景中具有局限性。
其次,对于现实的互联网环境,流量数据通常具有以下特性:异常流量类别多,但数量远远少于正常流量数据,也就是说,正常流量数据和入侵数据在数量分布上通常是不平衡的,当前的大部分算法都没有考虑到数据分布的不平衡状态,只是简单的将数据通过训练好的神经网络进行分类,导致检测效果没有达到最佳。
综上,在当前新型入侵数据不断涌现的互联网环境中,实现稳定的多分类异常流量检测,需要一种扩展性强、灵活、鲁棒且快速的方法来作为支撑。
发明内容
为了克服上述不足,本发明提出一种基于自动编码器网络的异常流量检测方法,目的在于提高入侵检测技术的检测速率和可扩展性,降低占用的存储空间和所消耗的计算资源。本发明结合神经网络和大数据哈希编码的优势来对正常流量数据和入侵数据进行哈希编码,该过程是无监督的,然后在汉明空间实现基于KNN的多分类入侵检测算法。首先在KitNET工作基础上进行改进,构建可以对流量数据进行哈希编码的自动编码器网络,从而直接将输入的流量数据转换为对应的哈希编码,其中包括正常和异常的流量数据。该网络具有线上处理、无监督、低复杂度等特性,可以提高本发明中方法的可扩展性。其次,在得到流量数据的哈希编码之后,通过计算汉明距离来实现基于KNN的分类,这里考虑到数据的不平衡性,设计了按近邻比例计算来进行分类的方法,提升了异常检测的准确率,利用哈希编码技术可以有效解决KNN计算速度慢、占用内存高等问题。最后,利用近邻比例计算解决了数据不平衡性的问题。图1显示的是本发明的整体模块设计图。
为了达到上述目的,本发明所采用的技术方案如下:
一种基于自动编码器网络的异常流量检测方法,从图1中可以看出,本发明和其它基于机器学习的入侵检测方法不同,首次将哈希编码思想应用于入侵检测技术中,并且是基于所构建的自动编码器网络模型进行哈希编码。由于该算法是无监督的,因此在出现新类别的攻击流量时,不需要收集大量具有标签的新数据来重新训练网络,即达到“不重复训练”的目的。这里只需将少量新流量数据进行哈希编码之后加入到数据集中便能正确检测,另外将只能用于二分类检测的KitNET算法应用于多分类异常检测。
所述的网络入侵检测方法基于以下四个模块实现:流量数据获取模块、数据预处理模块、基于自动编码器网络的哈希编码模块、异常检测模块。首先,通过流量数据获取模块捕获互联网中的正常流数据和入侵数据;其次,通过数据预处理模块对已获取的数据进行合理的预处理,解决采集的原始数据出现的有噪音、不一致等缺陷;再次,通过基于自动编码器网络的哈希编码模块来获取训练集和测试集流量的哈希编码,该模块可以有效地追踪每个网络信道的模式;最后,采用基于数据比例的异常检测模块对得到的哈希编码进行分类,可以获得对正常和入侵数据的分类结果并对该异常检测方法性能进行评估。
所述的流量数据获取模块,该模块中需要采集各种不同来源的数据,数据的主要来源包括网络连接信息,基于时间的流量信息,基于主机的流量信息,日志信息。
所述的数据预处理模块,该模块中需要对数据采取一定的预处理手段,使数据一致,主要方法有one-hot编码,z-score标准化等方法。
所述的基于自动编码器网络的哈希编码模块,在本发明中,直接对已经训练好的KitNET神经网络的输出层的数据特征表示采用哈希编码技术进行哈希编码。KitNET算法是一个即插即用的一个非监督机器学习算法,它是由一个自动编码器的集合组成,在训练过程中不需要带有标签的网络数据,但原算法只能用于二分类检测问题,在本发明中将其最后输出层自动编码器中的隐藏层的输出提取出来作为输入数据的另一种特征表示并同时进行哈希编码,进而达到将只能进行二分类检测的KitNET算法改进成可用于多分类检测的算法。
所述的异常检测模块,在该模块中,需要对前面模块中得到的数据流量的哈希编码进行分类,最后还要对得到的分类结果进行评估;在该模块中,采用基于哈明半径r的近似最近邻查找方法和基于数据分布比例的KNN分类方法来确定入侵数据的类别,实现异常检测多分类。另外,目前异常检测分类算法不会考虑到现实情况下正常数据多,入侵数据少的分布情况,我们也会考虑到这种可能出现的情况,因此会根据各个类别数据所占的比例进行优化异常检测分类算法。
本方法区别于已有方法的特色在于:
(1)本发明结合了神经网络和哈希编码的优势,通过对KitNET异常检测算法进行改进,来构建自动编码器网络模型直接输出流量数据的哈希编码,从而作为多类别异常流量检测的基础。首先基于KitNET的改进算法保留了本身很多良好的特性,例如无监督、在线处理、低复杂度、自学习和优秀的表达能力等。而且又进一步解决了KitNET只能实现二分类的局限性。其次,采用哈希编码来表示入侵检测中的网络数据,哈希编码占用空间很小,通常在哈希编码之间的比较只需要少量的机器指令即可完成,极大的减少了需要消耗的计算资源,而且更便于数据在网络环境中的流通。
(2)本发明中的异常检测分类方法采用基于数据分布比例的方法来确定入侵数据的类别,实现异常检测多分类,攻击检测本质上是一种分类问题,而该分类方法在原有的基础上,考虑的情况更加全面。例如在现实场景中,很多情况下正常类别网络数据的数量要远远超过不同攻击类别的入侵数据,而在基于机器学习的分类算法中,例如KNN算法,只是简单地算出训练集中前K个近似最近邻中出现次数最多的类别作为测试数据的类别这种做法是存在问题的,在本发明中考虑到不同类别在所有数据中的分布,优化检测分类算法,使得该入侵检测方法有更好的分类效果并能够更广泛地应用到实际场景中。
与当前基于机器学习的异常流量检测方法相比,本发明的有益效果为:(1)利用哈希编码可大大降低流量数据占用的存储空间和入侵检测技术中分类过程所消耗的计算资源,另外通过哈希编码也将原本只能用于入侵检测二分类的KitNET算法应用于入侵检测多分类的场景中;(2)在新攻击数据产生的环境下,无需反复训练分类器,提高了异常流量检测方法的运行速率以及可扩展性,同时设计了兼容性更高的基于数据分布比例的入侵检测分类方法,提升了检测分类效果。本方法更适用于解决当前新入侵类别数据层出不穷的互联网环境下的入侵检测问题。
附图说明
图1为本发明的整体模块设计图。
图2为本发明的基于自动编码器网络的异常流量检测应用图。
图3为本发明的基于自动编码器网络的哈希编码过程图。
具体实施方式
下面对本发明的实施方式进行详细说明。
一种基于自动编码器网络的异常流量检测方法,参照图2,该方法基于流量数据获取模块、数据预处理模块、基于自动编码器网络的哈希编码模块、异常检测模块四个模块实现,具体为:
(1)流量数据获取模块
寻找出有价值的可用数据信息是实现入侵检测的首要步骤,也是整个入侵检测的关键。入侵检测系统收集的数据信息主要来自不同的网段或主机,其中有关用户活动状态、网络系统等都是其主要的数据来源,为了让检测系统产生最大功效,并对攻击做出快速而准确的反应,这就要求数据信息具备一定的可靠性。该模块中可以通过一些现有的方法和工具来采集流量数据以及提取相应的特征。
(2)数据预处理模块
入侵检测结果的好坏不仅取决于检测算法,也取决于所使用的数据,因此就需要对初始数据进行合理的预处理。首先对采集数据的离散特征进行one-hot编码数值化,其编码方式是该属性有多少种取值,那么就用多少位状态寄存器表示,用独立的状态寄存器来存储状态,任意时刻,只有1位有效。其次,要对编码后的数据进行标准化,即将数据按照某种方法进行比例缩放,使特征数据都落入特定的数值空间,方便后续的计算,本发明采用的是z-score标准化,也叫均值标准化,公式如下:
其中μ和σ分别是原始数据x的均值和标准差。
(3)基于自动编码器网络的哈希编码模块
在本发明中,是对Mirsky提出的一种高效无监督的在线入侵检测框架Kitsune的核心异常检测算法KitNET改进成为输出为哈希编码的神经网络。KitNET算法使用了一组名为自动编码器(autoencoder)的神经网络,以集成方式区分正常和异常流量的模式,自动编码器是一种无监督的神经网络算法,通过训练这个网络,从而使输出尽可能接近输入,即尽可能重构输入样本。
改进后的KitNET网络结构可参考图3,结构主要分为全体层(Ensemble Layer)和输出层(Output Layer),对于本发明,我们将原有网络结构的输出层自动编码器的隐藏层神经元个数进行改动,让其与哈希编码的位数一致,用于提取特征并将其进行哈希编码。该算法共分为两个阶段:训练阶段和执行阶段,对于神经网络的训练过程,虽然将神经网络的结构进行改动,但是仍然可以采用原算法的训练流程,利用反向传播训练算法先训练全体层,再训练输出层,其中目标函数是对于给定的自动编码器来说,使实例x向量的重建误差最小,可以用向量x和重建后的输出向量y的均方根误差RMSE(Root Mean Square Error)来表示,公式如下:
其中,n是输入向量x和向量y的维度大小。xi为向量x的第i维,yi为向量y的第i维。
在训练阶段得到训练好的多编码器神经网络模型,在执行阶段可以直接通过该模型得到哈希编码,流程可参考图3,具体如下:
首先,将预处理后的训练和测试数据集输入到改进后的多编码器网络模型中,将每条数据作为一条实例,并将实例的特征映射到集合的可见神经元。其次,全体层的每个自动编码器尝试重构实例的特性,并根据均方根误差(RMSE)计算重构误差。再次,将RMSE转发到输出层的自动编码器,该编码器作为集成的非线性投票机制,在本发明中,我们只需要提取最后输出层的自动编码器隐藏层的数据特征表示,特征表示位数已经在训练阶段设置成为与哈希编码位数相同。最后,由于在前面的计算中已经将隐藏层的值进行0-1标准化,因此只需将特征表示进行整体平移到[-1,1]区间,并将大于0的数值设置为1,小于0的数值设置为0,即可得到数据的哈希编码,此步骤也可以替换成其它现有的无监督哈希编码算法。
基于自动编码器网络的哈希编码模块的执行(execution)算法流程如下:
其中,L(1)定义了一个有序集合来表示全体层,即L(1)={θ1,θ2,...,θk},由k个自动编码器构成,每个编码器有三层,分别是输入层、隐藏层和输出层;L(2)是表示输出层,定义了一个自动编码器θ0,有k个输入和输出神经元,有c个内神经元(与哈希编码长度相同);v是输入的数据向量。
(4)异常检测模块
在图2的第四阶段处理的任务是根据训练集数据对测试集进行异常检测多分类,得出预测类别,在上一阶段得到的是训练集和测试集的哈希编码,因此我们需要在哈明空间进行分类算法,在本发明中,采用基于哈明半径r的近似最近邻查找方法和基于数据分布比例的KNN分类方法。其中,基于哈明半径r的近似最近邻查找方法的具体执行步骤如下:
根据以上算法可以得到测试数据集的近似最近邻集合,在本发明中,通过分析现实场景可以发现,在入侵检测环境下,通常正常数据的数量要远远超过异常数据的数量,因此按照类别来分,会有数据分布不平衡的现象,在基于机器学习的分类算法中,例如KNN算法,只是简单地算出训练集中前K个近似最近邻中出现次数最多的类别作为测试数据的类别,这种做法是存在问题的。本发明在原有的基础上,同时考虑到数据分布的情况,采用基于数据分布比例的KNN分类方法来确定入侵数据的类别,即不采用近似最近邻中出现次数最多的类别作为测试数据的类别,而是根据数据点g的近似最近邻集合,得到每个类别出现近似最近邻的数量占在训练集中该类别数据的总数量的比例,将比例最高的类别作为测试数据点的类别,该方法避免了由于数据分布不均衡导致检测效果较差的问题。本方法仍然采用的是KNN(K-Nearest Neighbor)算法的核心思想,即它没有一个显式的学习过程,因此面对流量入侵检测这个不断变化的应用场景,该算法十分适用,即使有新类别的攻击数据不断加入,该算法也能够正确分类。
通过异常检测分类模块可以得到整个测试样本的检测结果,我们可以将入侵检测分类模块预测的结果与测试样本实际的类型进行比对得到准确度、精确度、召回率和F1值等入侵检测系统的评价指标,并且根据结果对上述步骤及参数进行调整。
以上本发明所述是基于自动编码器网络的异常流量检测方法,但是对于本领域的技术人员来说,在不脱离本发明构思的前提下,可以将基于自动编码器网络的哈希编码模块中得到的哈希编码直接用于互联网中的传输,在网关以及路由器当中设计合理的哈希索引,然后直接使用该哈希索引过滤不正常的流量数据,因为许多网络网关和路由器设备(它们可能承载一个入侵检测系统)根本没有内存或处理能力来训练甚至执行深度学习模型,那么只进行哈希编码的比对和处理大大降低了对设备的内存以及处理能力的要求。另外,对于本发明来说,还可以针对其他应用场景,来对该方法做出若干改进和变形。
Claims (3)
1.一种基于自动编码器网络的异常流量检测方法,其特征在于,所述的异常流量检测方法基于以下四个模块实现:流量数据获取模块、数据预处理模块、基于自动编码器网络的哈希编码模块、异常检测模块,该方法结合神经网络和哈希编码的优势,通过改进的多自动编码器网络模型直接输出流量数据的哈希编码,使用哈希编码技术降低时间复杂度和空间复杂度,并且将只能用于二分类检测的KitNET算法应用于多分类异常检测的应用场景中;
首先,通过流量数据获取模块捕获互联网中正常流量数据和异常数据;其次,通过数据预处理模块对数据进行合理的预处理,解决采集的原始数据出现的不一致等缺陷;再次,通过基于自动编码器网络的哈希编码模块来训练流量数据集,可以有效地追踪每个网络信道的模式,在执行阶段可以直接输出数据集的哈希编码;最后,采用基于数据比例的检测模块对得到的哈希编码实现多分类,可以获得对流量数据的分类结果并对该入侵检测方法性能进行评估;
所述的流量数据获取模块,该模块中需要采集各种不同来源的数据,数据的主要来源包括网络连接信息,基于时间的流量信息,基于主机的流量信息,日志信息;
所述的数据预处理模块,该模块中需要对数据进行预处理,使数据一致;
所述的基于自动编码器网络的哈希编码模块,该模块将无监督轻量级的异常检测KitNET算法进行改进,即将原有网络结构的输出层自动编码器的隐藏层神经元个数进行改动,让其与哈希编码的位数一致,用于提取特征并将其进行哈希编码,使该模块的输出直接为数据的哈希编码;
所述的异常检测模块,需要对前面模块中得到的数据流量的哈希编码进行分类,在该模块中,采用基于哈明半径r的近似最近邻查找方法和基于数据分布比例的KNN分类方法来确定入侵数据的类别,实现异常检测多分类。
2.根据权利要求1所述的一种基于自动编码器网络的异常流量检测方法,其特征在于,所述的数据预处理模块中的预处理方法包括one-hot编码,z-score标准化。
3.根据权利要求1或2所述的一种基于自动编码器网络的异常流量检测方法,其特征在于,所述的基于自动编码器网络的哈希编码模块中将无监督轻量级的异常检测KitNET算法进行改进,具体包括以下子步骤:
将KitNET算法改进成为输出为哈希编码的神经网络,改进后的KitNET网络结构主要分为全体层和输出层,将原有网络结构的输出层自动编码器的隐藏层神经元个数进行改动,让其与哈希编码的位数一致;该算法共分为两个阶段:训练阶段和执行阶段:神经网络的训练过程仍采用原算法训练流程,在训练阶段得到训练好的多编码器神经网络模型,在执行阶段直接通过该模型得到哈希编码,具体如下:
首先,将预处理后的训练和测试数据集输入到改进后的多编码器网络模型中,将每条数据作为一条实例,并将实例的特征映射到集合的可见神经元;其次,全体层的每个自动编码器尝试重构实例的特性,并根据均方根误差RMSE计算重构误差;再次,将RMSE转发到输出层的自动编码器,并提取最后输出层的自动编码器隐藏层的数据特征表示,特征表示位数已经在训练阶段设置成为与哈希编码位数相同;最后,将特征表示进行整体平移到[-1,1]区间,并将大于0的数值设置为1,小于0的数值设置为0,得到数据的哈希编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910094284.8A CN109639739B (zh) | 2019-01-30 | 2019-01-30 | 一种基于自动编码器网络的异常流量检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910094284.8A CN109639739B (zh) | 2019-01-30 | 2019-01-30 | 一种基于自动编码器网络的异常流量检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109639739A true CN109639739A (zh) | 2019-04-16 |
CN109639739B CN109639739B (zh) | 2020-05-19 |
Family
ID=66064457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910094284.8A Active CN109639739B (zh) | 2019-01-30 | 2019-01-30 | 一种基于自动编码器网络的异常流量检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109639739B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059747A (zh) * | 2019-04-18 | 2019-07-26 | 清华大学深圳研究生院 | 一种网络流量分类方法 |
CN110138812A (zh) * | 2019-07-11 | 2019-08-16 | 南昌诺汇医药科技有限公司 | 网络安全分析系统 |
CN110889427A (zh) * | 2019-10-15 | 2020-03-17 | 同济大学 | 一种拥堵交通流溯源分析方法 |
CN111740998A (zh) * | 2020-03-06 | 2020-10-02 | 广东技术师范大学 | 一种基于堆叠自编码器的网络入侵检测方法 |
CN111865552A (zh) * | 2019-04-30 | 2020-10-30 | 北京大学 | 一种检测分布转化编码器抗编码攻击能力的方法 |
CN111967502A (zh) * | 2020-07-23 | 2020-11-20 | 电子科技大学 | 一种基于条件变分自编码器的网络入侵检测方法 |
CN112104666A (zh) * | 2020-11-04 | 2020-12-18 | 广州竞远安全技术股份有限公司 | 一种基于视频编码的异常网络流量检测系统及方法 |
CN112132269A (zh) * | 2020-09-29 | 2020-12-25 | 腾讯科技(深圳)有限公司 | 模型处理方法、装置、设备及存储介质 |
CN112134875A (zh) * | 2020-09-18 | 2020-12-25 | 国网山东省电力公司青岛供电公司 | 一种IoT网络异常流量检测方法及系统 |
CN112217763A (zh) * | 2019-07-10 | 2021-01-12 | 四川大学 | 一种基于机器学习的隐蔽tls通信流检测方法 |
CN112232948A (zh) * | 2020-11-02 | 2021-01-15 | 广东工业大学 | 一种流量数据的异常检测方法及装置 |
CN112380862A (zh) * | 2021-01-18 | 2021-02-19 | 武汉千屏影像技术有限责任公司 | 自动获取病理信息的方法、装置和存储介质 |
CN112491712A (zh) * | 2020-11-30 | 2021-03-12 | 复旦大学 | 一种基于多智能体深度强化学习的数据包路由算法 |
CN112989540A (zh) * | 2021-04-12 | 2021-06-18 | 福建省海峡信息技术有限公司 | 一种基于sru网络异常流量的检测方法及系统 |
CN112995995A (zh) * | 2019-12-16 | 2021-06-18 | 罗伯特·博世有限公司 | 异常检测器、异常检测网络和用于检测异常活动的方法 |
CN113709089A (zh) * | 2020-09-03 | 2021-11-26 | 南宁玄鸟网络科技有限公司 | 一种物联网过滤非法数据系统及方法 |
CN114006745A (zh) * | 2021-10-28 | 2022-02-01 | 西安热工研究院有限公司 | 一种基于改进自编码器的网络入侵流量分类方法 |
CN114024651A (zh) * | 2020-07-16 | 2022-02-08 | 深信服科技股份有限公司 | 一种编码类型识别方法、装置、设备及可读存储介质 |
CN114117935A (zh) * | 2021-12-06 | 2022-03-01 | 上海交通大学 | 一种基于联合学习和自动编码器的物联网异常检测系统 |
CN114389858A (zh) * | 2021-12-24 | 2022-04-22 | 安天科技集团股份有限公司 | 流量处理方法及装置、电子设备和计算机可读存储介质 |
CN115016433A (zh) * | 2022-06-01 | 2022-09-06 | 哈尔滨工业大学(威海) | 一种车载can总线流量异常检测方法及系统 |
CN115563570A (zh) * | 2022-12-05 | 2023-01-03 | 上海飞旗网络技术股份有限公司 | 一种资源的异常检测方法、装置及设备 |
RU2811840C1 (ru) * | 2023-03-23 | 2024-01-18 | Акционерное Общество "Информационные Технологии И Коммуникационные Системы" | Способ обнаружения аномального трафика в сети |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8583567B1 (en) * | 2010-05-07 | 2013-11-12 | Google Inc. | Semi-supervised and unsupervised generation of hash functions |
US20160358024A1 (en) * | 2015-06-03 | 2016-12-08 | Hyperverge Inc. | Systems and methods for image processing |
CN106708951A (zh) * | 2016-11-25 | 2017-05-24 | 西安电子科技大学 | 支持所有权认证的客户端图像模糊去重方法 |
CN107070943A (zh) * | 2017-05-05 | 2017-08-18 | 兰州理工大学 | 基于流量特征图和感知哈希的工业互联网入侵检测方法 |
CN107454084A (zh) * | 2017-08-10 | 2017-12-08 | 桂林电子科技大学 | 基于杂交带的最近邻入侵检测算法 |
US20180115568A1 (en) * | 2016-10-21 | 2018-04-26 | Neusoft Corporation | Method and device for detecting network intrusion |
-
2019
- 2019-01-30 CN CN201910094284.8A patent/CN109639739B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8583567B1 (en) * | 2010-05-07 | 2013-11-12 | Google Inc. | Semi-supervised and unsupervised generation of hash functions |
US20160358024A1 (en) * | 2015-06-03 | 2016-12-08 | Hyperverge Inc. | Systems and methods for image processing |
US20180115568A1 (en) * | 2016-10-21 | 2018-04-26 | Neusoft Corporation | Method and device for detecting network intrusion |
CN106708951A (zh) * | 2016-11-25 | 2017-05-24 | 西安电子科技大学 | 支持所有权认证的客户端图像模糊去重方法 |
CN107070943A (zh) * | 2017-05-05 | 2017-08-18 | 兰州理工大学 | 基于流量特征图和感知哈希的工业互联网入侵检测方法 |
CN107454084A (zh) * | 2017-08-10 | 2017-12-08 | 桂林电子科技大学 | 基于杂交带的最近邻入侵检测算法 |
Non-Patent Citations (1)
Title |
---|
YUAN CAO ; HENG QI ; WENRUI ZHOU ; JIEN KATO ; KEQIU LI ; XIULO: "Binary Hashing for Approximate Nearest Neighbor Search on Big Data: A Survey", 《IEEE ACCESS》 * |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059747A (zh) * | 2019-04-18 | 2019-07-26 | 清华大学深圳研究生院 | 一种网络流量分类方法 |
CN111865552A (zh) * | 2019-04-30 | 2020-10-30 | 北京大学 | 一种检测分布转化编码器抗编码攻击能力的方法 |
CN111865552B (zh) * | 2019-04-30 | 2021-07-09 | 北京大学 | 一种检测分布转化编码器抗编码攻击能力的方法 |
CN112217763A (zh) * | 2019-07-10 | 2021-01-12 | 四川大学 | 一种基于机器学习的隐蔽tls通信流检测方法 |
CN110138812A (zh) * | 2019-07-11 | 2019-08-16 | 南昌诺汇医药科技有限公司 | 网络安全分析系统 |
CN110138812B (zh) * | 2019-07-11 | 2019-11-12 | 乌鲁木齐九州凌云电子科技有限公司 | 网络安全分析系统 |
CN110889427A (zh) * | 2019-10-15 | 2020-03-17 | 同济大学 | 一种拥堵交通流溯源分析方法 |
CN112995995A (zh) * | 2019-12-16 | 2021-06-18 | 罗伯特·博世有限公司 | 异常检测器、异常检测网络和用于检测异常活动的方法 |
CN111740998A (zh) * | 2020-03-06 | 2020-10-02 | 广东技术师范大学 | 一种基于堆叠自编码器的网络入侵检测方法 |
CN114024651A (zh) * | 2020-07-16 | 2022-02-08 | 深信服科技股份有限公司 | 一种编码类型识别方法、装置、设备及可读存储介质 |
CN111967502A (zh) * | 2020-07-23 | 2020-11-20 | 电子科技大学 | 一种基于条件变分自编码器的网络入侵检测方法 |
CN113709089A (zh) * | 2020-09-03 | 2021-11-26 | 南宁玄鸟网络科技有限公司 | 一种物联网过滤非法数据系统及方法 |
CN112134875A (zh) * | 2020-09-18 | 2020-12-25 | 国网山东省电力公司青岛供电公司 | 一种IoT网络异常流量检测方法及系统 |
CN112132269A (zh) * | 2020-09-29 | 2020-12-25 | 腾讯科技(深圳)有限公司 | 模型处理方法、装置、设备及存储介质 |
CN112132269B (zh) * | 2020-09-29 | 2024-04-23 | 腾讯科技(深圳)有限公司 | 模型处理方法、装置、设备及存储介质 |
CN112232948A (zh) * | 2020-11-02 | 2021-01-15 | 广东工业大学 | 一种流量数据的异常检测方法及装置 |
CN112104666A (zh) * | 2020-11-04 | 2020-12-18 | 广州竞远安全技术股份有限公司 | 一种基于视频编码的异常网络流量检测系统及方法 |
CN112491712A (zh) * | 2020-11-30 | 2021-03-12 | 复旦大学 | 一种基于多智能体深度强化学习的数据包路由算法 |
CN112380862B (zh) * | 2021-01-18 | 2021-04-02 | 武汉千屏影像技术有限责任公司 | 自动获取病理信息的方法、装置和存储介质 |
CN112380862A (zh) * | 2021-01-18 | 2021-02-19 | 武汉千屏影像技术有限责任公司 | 自动获取病理信息的方法、装置和存储介质 |
CN112989540A (zh) * | 2021-04-12 | 2021-06-18 | 福建省海峡信息技术有限公司 | 一种基于sru网络异常流量的检测方法及系统 |
CN114006745A (zh) * | 2021-10-28 | 2022-02-01 | 西安热工研究院有限公司 | 一种基于改进自编码器的网络入侵流量分类方法 |
CN114006745B (zh) * | 2021-10-28 | 2024-01-26 | 西安热工研究院有限公司 | 一种基于改进自编码器的网络入侵流量分类方法 |
CN114117935A (zh) * | 2021-12-06 | 2022-03-01 | 上海交通大学 | 一种基于联合学习和自动编码器的物联网异常检测系统 |
CN114389858A (zh) * | 2021-12-24 | 2022-04-22 | 安天科技集团股份有限公司 | 流量处理方法及装置、电子设备和计算机可读存储介质 |
CN114389858B (zh) * | 2021-12-24 | 2023-08-25 | 安天科技集团股份有限公司 | 流量处理方法及装置、电子设备和计算机可读存储介质 |
CN115016433A (zh) * | 2022-06-01 | 2022-09-06 | 哈尔滨工业大学(威海) | 一种车载can总线流量异常检测方法及系统 |
CN115563570A (zh) * | 2022-12-05 | 2023-01-03 | 上海飞旗网络技术股份有限公司 | 一种资源的异常检测方法、装置及设备 |
RU2811840C1 (ru) * | 2023-03-23 | 2024-01-18 | Акционерное Общество "Информационные Технологии И Коммуникационные Системы" | Способ обнаружения аномального трафика в сети |
Also Published As
Publication number | Publication date |
---|---|
CN109639739B (zh) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109639739A (zh) | 一种基于自动编码器网络的异常流量检测方法 | |
Li et al. | Application on traffic flow prediction of machine learning in intelligent transportation | |
CN111314331B (zh) | 一种基于条件变分自编码器的未知网络攻击检测方法 | |
CN112491796B (zh) | 一种基于卷积神经网络的入侵检测及语义决策树量化解释方法 | |
CN107133569B (zh) | 基于泛化多标记学习的监控视频多粒度标注方法 | |
CN109117883B (zh) | 基于长短时记忆网络的sar影像海冰分类方法及系统 | |
CN111241343A (zh) | 一种道路信息监控与分析检测方法、智慧交通控制系统 | |
CN113283282B (zh) | 一种基于时域语义特征的弱监督时序动作检测方法 | |
CN113469236A (zh) | 一种自我标签学习的深度聚类图像识别系统及方法 | |
CN109376797B (zh) | 一种基于二进制编码器和多哈希表的网络流量分类方法 | |
CN114694178A (zh) | 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统 | |
CN110751191A (zh) | 一种图像的分类方法及系统 | |
CN111614576A (zh) | 一种基于小波分析和支持向量机的网络数据流量识别方法及系统 | |
Shen et al. | An attention-based digraph convolution network enabled framework for congestion recognition in three-dimensional road networks | |
Yan et al. | TL-CNN-IDS: transfer learning-based intrusion detection system using convolutional neural network | |
CN113887642B (zh) | 一种基于开放世界的网络流量分类方法及系统 | |
CN115953624A (zh) | 动态图像的分类方法、装置、车辆及存储介质 | |
CN114897085A (zh) | 一种基于封闭子图链路预测的聚类方法及计算机设备 | |
CN111130942A (zh) | 一种基于消息大小分析的应用流量识别方法 | |
CN116545944A (zh) | 一种网络流量分类方法及系统 | |
CN116189299A (zh) | 一种适用于边缘终端的煤矿井下人体动作识别方法 | |
CN116032790A (zh) | 调度自动化系统海量数据流异常辨识、诊断和预测方法、装置和系统 | |
CN116980356A (zh) | 一种网络流量识别方法、装置、电子设备及存储介质 | |
CN116861226A (zh) | 一种数据处理的方法以及相关装置 | |
CN113505817A (zh) | 不均衡数据下轴承故障诊断模型样本自适应加权训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |