CN109040141A - 异常流量的检测方法、装置、计算机设备和存储介质 - Google Patents

异常流量的检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109040141A
CN109040141A CN201811207593.3A CN201811207593A CN109040141A CN 109040141 A CN109040141 A CN 109040141A CN 201811207593 A CN201811207593 A CN 201811207593A CN 109040141 A CN109040141 A CN 109040141A
Authority
CN
China
Prior art keywords
session
network
abnormal flow
value
application layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811207593.3A
Other languages
English (en)
Other versions
CN109040141B (zh
Inventor
于洋
关塞
陈洁远
曾凡
李家昌
聂利权
阮华
万志颖
王伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811207593.3A priority Critical patent/CN109040141B/zh
Publication of CN109040141A publication Critical patent/CN109040141A/zh
Application granted granted Critical
Publication of CN109040141B publication Critical patent/CN109040141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提出一种异常流量的检测方法、装置、计算机设备和存储介质,其中,方法包括:获取网络数据包,并提取网络数据包之中的会话信息和网络应用层负载信息,根据会话信息和网络应用层负载信息生成检测样本,根据检测样本生成抽象特征;以及根据所述抽象特征进行分类以检测异常流量。该方法实现了从无标签的网络数据包中获取抽象特征,根据抽象特征进行分类,无需人工构造特征,节省了人力和时间成本,并且根据检测样本生成的抽象特征,相比人工构造的特征,灵活性和适用性较高。

Description

异常流量的检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种异常流量的检测方法、装置、计算机设备和存储介质。
背景技术
异常流量检测是网络异常检测中的重要任务之一。目前,有很多异常流量检测方法。例如,基于特征检测的异常流量检测方法、基于机器学习的异常流量检测方法、基于有监督深度学习的异常流量检测方法等。其中,基于特征检测的异常流量检测方法,通过维护异常特征库来匹配异常流量,检测出特征库中已知的攻击类型;基于机器学习的异常流量检测方法,利用人工构造的特征表示训练数据,即利用机器学习中的特征工程通过专家知识将原始数据转换为特征向量,并通过训练数据学习出用于异常流量检测的模型;基于有监督深度学习的异常流量检测方法,通过有标签的网络数据进行有监控学习,进而利用训练好的模型确定流量是否异常。
但是,基于特征检测的异常流量检测方法,只能检测出特征库中已知的攻击类型,需要专家定期更新特征库,成本高;对于基于机器学习的异常流量检测方法,基于人工构造的特征需要大量的专家知识,人力成本和时间成本较高,而且人工构造的特征与当时具体的攻击类型有关,当新型的复杂攻击类型出现时,这些特征将不再有效,灵活性和适应性较差;对于基于有监督深度学习的异常流量检测方法,获得大量带有标签的网络数据成本较高。
发明内容
本申请提出一种异常流量的检测方法、装置、计算机设备和存储介质,用于解决相关技术中异常流量检测方法,获取大量带有标签的网络数据成本较高,人工构造的特征灵活性和适应性较差的问题。
本申请一方面实施例提出了一种异常流量的检测方法,包括:
获取网络数据包,并提取所述网络数据包之中的会话信息和网络应用层负载信息;
根据所述会话信息和所述网络应用层负载信息生成检测样本;
根据所述检测样本生成抽象特征;以及
根据所述抽象特征进行分类以检测异常流量。
本申请实施例的异常流量的检测方法,通过首先获取网络数据包,并提取网络数据包之中的会话信息和网络应用层负载信息,然后根据会话信息和网络应用层负载信息生成检测样本,之后根据检测样本生成抽象特征,最后根据抽象特征进行分类以检测异常流量。由此,实现了从无标签的网络数据包中获取抽象特征,根据抽象特征进行分类,无需人工构造特征,节省了人力和时间成本,并且根据检测样本生成的抽象特征,相比人工构造的特征,灵活性和适用性较高。
本申请另一方面实施例提出了一种异常流量的检测装置,包括:
获取模块,用于获取网络数据包,并提取所述网络数据包之中的会话信息和网络应用层负载信息;
第一生成模块,用于根据所述会话信息和所述网络应用层负载信息生成检测样本;
第二生成模块,用于根据所述检测样本生成抽象特征;以及
分类模块,用于根据所述抽象特征进行分类以检测异常流量。
本申请实施例的异常流量的检测装置,通过首先获取网络数据包,并提取网络数据包之中的会话信息和网络应用层负载信息,然后根据会话信息和网络应用层负载信息生成检测样本,之后根据检测样本生成抽象特征,最后根据抽象特征进行分类以检测异常流量。由此,实现了从无标签的网络数据包中获取抽象特征,根据抽象特征进行分类,无需人工构造特征,节省了人力和时间成本,并且根据检测样本生成的抽象特征,相比人工构造的特征,灵活性和适用性较高。
本申请另一方面实施例提出了一种计算机设备,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如上述实施例所述的异常流量的检测方法。
本申请另一方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例所述的异常流量的检测方法。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例提供的一种异常流量的检测方法的流程示意图;
图2为本申请实施例提供的一种网络数据包处理流程示意图;
图3为本申请实施例提供的一种异常流量的检测方法过程示意图;
图4为本申请实施例提供的另一种网络数据包处理流程示意图;
图5为本申请实施例提供的一种异常流量的检测装置的结构示意图;
图6示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的异常流量的检测方法、装置、计算机设备和存储介质。
本申请实施例,针对相关技术中异常流量的检测方法,获取大量带有标签的网络数据成本较高,人工构造的特征,灵活性和适应性较差的问题,提出一种异常流量的检测方法。
图1为本申请实施例提供的一种异常流量的检测方法的流程示意图。
本申请实施例的异常流量的检测方法,可以由本申请实施例提供的异常流量的检测装置执行,上述装置可配置于计算机设备中,以实现根据网络数据包中的会话信息和网络应用层负载信息生成检测样本,根据检测样本生成抽象特征,根据抽象特征进行分类以检测异常流量。
如图1所示,该异常流量的检测方法包括:
步骤101,获取网络数据包,并提取网络数据包之中的会话信息和网络应用层负载信息。
相关技术中,基于有监督学习的异常流量检测方法,是将带有标签的网络数据作为样本,但是随着网络数据量增加,对网络数据标定标签需要大量的人力成本和时间成本,由此获取大量带有标签的网络数据,成本较高。
由于网络会话中的网络数据能够很好地反映网络数据包之间的关联信息,由此本实施例中,可获取多个会话中的网络数据包。在获取网络数据包后,获取每个会话中所有网络数据包的部分头部信息,作为会话信息。
其中,会话包括:传输控制协议((Transmission Control Protocol,简称TCP)会话、用户数据报协议(User Datagram Protocol,简称UDP)会话、网络消息控制协议(Internet Control Message Protocol,简称ICMP)会话等。
本实施例中,网络应用层负载信息可以是从一个会话中所有网络数据包中提取的网络应用层负载组合而成的网络应用层负载数据。
在实际应用中,通过对网络流量应用层负载数据的观察,发现重要信息多聚集在负载的前部,由此本实施例中,可将网络应用层负载数据中预设字节长度的部分作为网络应用层负载信息。由于只选取了部分网络应用层负载数据,使得数据处理效率更高,需要的存储空间较少。
图2为本申请实施例提供的一种网络数据包处理流程示意图。如图2所示,可先获取原始网络数据包(基于IPv4协议会话中的网络数据包),包括TCP会话网络数据包、UDP会话网络数据包、ICMP会话网络数据包。然后,对网络数据包进行重组。
由此,会话重组使得每个会话中,所有具有相同会话ID构成的网络数据包的网络应用层负载(顺序可能不同)被连接起来组成网络应用层负载数据。针对每个相同会话ID对应网络应用层负载数据,可取预设字节长度的网络应用层负载数据,作为网络应用层负载信息。
其中,TCP会话、UDP会话和ICMP会话可分别由一个相当于会话ID的五元组定义,一个五元组能够唯一标识一个会话。TCP会话ID和UDP会话ID由协议类型、源IP地址、目的IP地址、源端口和目的端口构成,ICMP会话ID由协议类型、源IP地址、目的IP地址、ICMP类型和ICMP代码构成。
也就是说,可从TCP会话和UDP会话中的网络数据包中提取协议类型、源IP地址、目的IP地址、源端口和目的端口等信息,从ICMP会话ID中的网络数据包中提取协议类型、源IP地址、目的IP地址、ICMP类型和ICMP代码等。之后,根据会话ID得到对应的会话信息。
其中,会话信息包括:协议类型、端口特征值、网络消息控制协议ICMP类型值、ICMP代码值、传输控制协议TCP标志位、一个会话中数据包时间间隔的平均值、一个会话中数据包时间间隔的方差值等对于协议类型,IP数据包协议字段可说明产生该数据包的上层协议种类,而不同的上层协议可对应不同攻击行为;IP数据包头部协议类型字段特征的可分别用不同的数来表示协议类型,其中协议类型可包括TCP、UDP和ICMP等。
对于TCP和UDP网络数据包,不同的端口分别对应着不同的服务类型或应用程序,许多攻击通过扫描开放端口来猜测系统漏洞,进而发动攻击行为。本实施例中,会话信息中可包括端口特征值,其中端口特征值包括源端口特征值和目的端口特征值。
由于攻击者可通过设置具体的ICMP类型和ICMP代码字段来实施攻击行为,例如ICMP重定向攻击等,所以本实施例中,将ICMP类型值和ICMP代码值作为会话信息的一部分。
对于TCP会话中的网络数据包,攻击者可通过非法设置标志位来构造恶意报文,由此会话信息中可包括TCP标志位。TCP标志位是指TCP网络数据包报头部信息的8个flag标志位(FIN、SYN、RST、PSH、ACK、URG、ECE和CWR)特征。在每个TCP会话中,TCP标志位的8个标志位字段被分别计数,例如,在一个会话中只有10个网络数据包的SYN标志位字段被设置为1,则SYN特征的值则为10。
一个会话中数据包时间间隔指一个会话中主机发送或接收数据包的时间间隔,由于一些攻击通过频繁发送大量数据包耗尽主机或网络资源,因此该特征具有借鉴价值;一个会话中数据包时间间隔的平均值为统计出一个会话中所有相邻数据包之间的时间戳间隔后取平均值,平均值越小对应于网络数据包的发送或接收频率越高的情况。其中,时间戳是指发送数据包或者接收数据包的时间。
由于方差能够反映数据的波动情况,则数据包时间间隔方差可反映网络数据包传送频繁程度的波动情况,例如如果数据流量在某一时间段内大幅度增多,则对应的数据包时间间隔的方差值会有较大变化。由此,会话信息中可包括一个会话中数据包时间间隔的方差值,用于反映会话中网络数据包传送的频繁程度。
步骤102,根据会话信息和网络应用层负载信息生成检测样本。
如图2所示,在提取从网络数据包之中提取会话信息和网络应用层负载信息后,可根据会话信息和网络应用层负载信息进行样本构造,生成检测样本。
本实施例中,检测样本可由会话信息和网络应用层负载信息构成。其中,检测样本的长度可以是固定的,所以无论包含何种类型的网络数据包都能处理成相同维度的检测样本。
例如,每个检测样本的长度为1000个字节,会话信息所占字节总数为17个字节,网络应用层负载信息占983个字节,如只选取网络应用层负载数据的前983个字节作为网络应用层负载信息,舍弃网络应用层负载数据多余的部分,不足983字节的网络应用层负载数据用0补齐作为网络应用层负载信息。下面通过表1说明检测样本包括的特征,对应的描述及所占字节数。
表1
表1中,TCP、UDP和ICMP对应的协议类型字段分别用100、010和001来表示。这种表示方法的使得每种协议类型不存在数值大小关系,更有利于特征的学习。
由于源端口号和目的端口号分别在TCP和UDP头部占16位,共占2个字节,故端口号特征值为0到65535之间的整数。
表1中,TCP标志位在检测样本中共占8个字节,即每种标志位特征分别占据一个字节。在每个TCP会话中,TCP标志位的8个标志位字段被分别计数,例如,在一个会话中只有10个数据包的SYN标志位字段被设置为1,则SYN特征的值则为10。根据这种方法计算标志位,不仅可以保证检测样本维度构成的一致性,而且可帮助判断利用标志位发起的拒绝服务攻击等攻击类型。
此外,对于一些数据包头部字段的空缺值,这些空缺值可用一个共同的取值范围为(0,1)之间的随机浮点小数来替代,例如TCP网络数据包头部信息中不包含ICMP类型字段,则对于基于TCP会话的测试样本,其ICMP类型值为该随机浮点小数。
本实施例中,针对现有攻击的特性在检测样本中加入网络数据包的部分头部特征,可以提高网络入侵检测的准确率,而取部分网络应用层负载数据作为网络应用层负载信息,使检测样本具有相同的长度,从而无论何种类型的网络数据包都能处理成相同维度的检测样本。
步骤103,根据检测样本生成抽象特征。
本实施例中,在获取检测样本后,可将检测样本被输入到无监督深度学习算法中来学习重要的层次化特征,得到抽象特征。其中,可以采用不同的无监督深度学习算法,例如栈式降噪自编码器算法、深度信念网络算法等。
例如,使用栈式降噪自编码器算法能够学习层次化的特征表示,其神经网络结构的第一层能够学习原始输入数据的一阶特征,例如图像中物体的边缘信息;其神经网络结构的第二层能够从一阶特征中学习二阶特征,例如轮廓构成和角等;其神经网络结构的更高层能够从低层特征中学习更高阶的特征。具体以人脸识别任务为例,神经网络结构的第一层学习边缘信息,第二层学习组合边缘信息来构造轮廓和角,更高层来组合人类的五官。因此,对于网络入侵检测领域而言,栈式降噪自编码器算法能够从输入数据中学习或提取不同抽象层次的特征。
降噪自编码器的结构和相关术语如下:
假设一个包含m个样本的无标签训练数据集D={x(1),x(2),…,x(m)},其中,输入样本x(i)∈Rn为一个n维向量。降噪自编码器的输入首先通过一个随机映射完成随机损坏操作。
具体来讲,随机损坏操作方法为随机地将输入向量的一些值置为0;然后,降噪自编码器通过一个确定性映射函数将经过随机损坏操作的输入向量映射为一个隐层表达h,这个确定性映射函数为:其中,W是权值矩阵,b是偏置向量,映射函数f(·)被称为编码器。
随后,编码h被转换成n维向量被称为输入向量x的重构,转换函数取与映射函数相同的函数,转换函数也被称为解码器:
其中,权值矩阵W′为权值矩阵W的转置矩阵,即W′=WT
降噪自编码器试图从被损坏的输入向量重构原始输入向量x,即损失函数用于最小化输入和输出的重构误差。其中,损失函数为交叉熵损失函数:
深度学习算法拥有强大的学习能力,有较大的潜力解决异常流量检测领域所面临的诸多问题。现实世界中网络流量通常是高维和异构的,而深度学习能够从大量高维异构的原始网络数据流中自动学习不同层次的特征,这些自动学习的特征不需要人类专家的领域知识,节省了大量的人力和时间成本。
步骤104,根据抽象特征进行分类以检测异常流量。
本实施例中,可将抽象特征输入到分类器中进行分类,得到异常流量或正常流量结果。其中,分类器可以采用单一分类器(如支持向量机、决策树等)、混合分类器(如支持向量机与蚁群算法的整合、决策树与支持向量机的整合等)或聚合分类器(如使用朴素贝叶斯和决策树作为基准弱分类器聚合)等。
例如,降噪自编码器学习到的隐藏层特征h可输入至softmax分类器中,由softmax分类器完成分类任务,softmax分类器能够预测每个检测样本属于每种类别的概率,其计算公式为:
P(Y=c|x;W,b)=softmaxc(Wx+b)
其中,Y是一个值为类c随机变量,x是输入向量;给定输入向量x,其预测值y的计算公式为:
y=argmaxcP(Y=c|x;W,b)
即将概率最大的类别作为检测样本所属的类别。
本实施例中,将经过深度学习得到的抽象特征,作为分类器的输入来完成分类任务,可以得到高准确率和低误报率,解决传统网络入侵检测存在大量漏报和误报的问题。
为了更详细说明上述实施例,下面结合图3说明本申请实施例提供的异常流量的检测方法。图3为本申请实施例提供的一种异常流量的检测方法过程示意图。
如图3所示,首先从网络会话中获取网络数据包,然后对网络数据包进行处理生成检测样本,再将检测样本输入至无监督深度学习中,通过无监督训练来学习重要的层次化特征,得到抽象特征,最后将抽象特征输入至分类器中进行分类,得到异常流量或者正常流量的结果。
为了提高检测的准确性,在根据抽象特征训练分类器的参数时,可以使用少量有标签的检测样本进行有监督微调,选取出最优分类器,再对大量无标签的网络数据包进行分类。
上述实施例中,为了便于后续获取抽象特征,在根据会话信息和网络应用层负载信息生成检测样本之后,还可对检测样本进行归一化处理。
具体地,会话信息可通过以下方式进行归一化处理:可保持检测样本中协议类型不变,端口值除以第一预设值,ICMP类型值和ICMP代码值除以第二预设值。
以表1所示的各特征所占字节的检测样本为例,由于端口值占2个字节,那么端口值的取值范围是0-65535,那么第一预设值为65535;由于ICMP类型值和ICMP代码值各占1个字节,取值范围为0-255,则第二预设值为255。基于此,可将端口值除以65535,ICMP类型值和ICMP代码值均除以255进行归一化。对于网络应用层负载信息,网络应用层负载信息中每个字节上对应的数被表示成0到255之间的整数,那么可将这些整数归一化成0到1之间的浮点数。
进一步地,还可对TCP标志位、一个会话中数据包时间间隔的平均值、一个会话中数据包时间间隔的方差值进行归一化。由于不能预测TCP标志位、一个会话中数据包时间间隔的平均值以及数据包时间间隔的方差值的边界值,本实施例中,采用最大最小规范化算法将每个特征归一化到0到1之间。
具体地,首先获取TCP标志位、一个会话中数据包时间间隔的平均值或一个会话中数据包时间间隔的方差值中的最大值和最小值,然后通过最大最小规范化公式将其归一化到0-1之间。其中,最小规范化公式为:
其中,x为特征的值,g表示x归一化后的值,max为一个会话中所有网络数据包中该特征的最大值,min为一个会话中所有网络数据包中该特征的最小值。通过该公式可将TCP标志位、一个会话中数据包时间间隔的平均值、一个会话中数据包时间间隔的方差值归一化到0-1之间。
图4为本申请实施例提供的另一种网络数据包处理流程示意图。如图4所示,首先从网络会话中获取原始网络数据包,然后对原始网络数据包进行会话重组,之后进行样本构造得到检测样本,再对检测样本进行归一化处理。
本实施例中,对检测样本进行归一化处理,可减少无监督深度学习的计算过程,节省时间成本。
在对检测样本进行归一化处理后,输入至无监督深度学习算法中生成抽象特征,并将抽象特征输入至分类器中进行分类。
为了实现上述实施例,本申请实施例还提出一种异常流量的检测装置。图5为本申请实施例提供的一种异常流量的检测装置的结构示意图。
如图5所示,该异常流量的检测装置包括:获取模块210、第一生成模块220、第二生成模块230、分类模块240。
获取模块210,用于获取网络数据包,并提取网络数据包之中的会话信息和网络应用层负载信息。
第一生成模块220,用于根据会话信息和网络应用层负载信息生成检测样本。
第二生成模块230用于根据检测样本生成抽象特征。
分类模块240用于根据抽象特征进行分类以检测异常流量。
在本申请实施例一种可能的实现方式中,该装置还包括:
处理模块,用于在根据所述会话信息和网络应用层负载信息生成检测样本之后,对检测样本进行归一化处理。
在本申请实施例一种可能的实现方式中,会话信息包括协议类型、端口特征值、ICMP类型值、ICMP代码值、TCP标志位、一个会话中数据包时间间隔的平均值、一个会话中数据包时间间隔的方差值。
在本申请实施例一种可能的实现方式中,网络应用层负载信息为网络应用层负载数据中预设字节长度的部分。
在本申请实施例一种可能的实现方式中,上述处理模块还用于:
保持协议类型不变;
端口特征值除以第一预设值;
ICMP类型值和ICMP代码值除以第二预设值。
进一步地,在本申请实施例一种可能的实现方式中,上述处理模块还用于:
获取TCP标志位、一个会话中数据包时间间隔的平均值或一个会话中数据包时间间隔的方差值中的最大值和最小值;
用最大最小规范化算法将所述TCP标志位、一个会话中数据包时间间隔的平均值或一个会话中数据包时间间隔的方差值归一化到0-1之间。
需要说明的是,前述对异常流量的检测方法实施例的解释说明,也适用于该实施例的异常流量的检测装置,故在此不再赘述。
本申请实施例的异常流量的检测装置,通过首先获取网络数据包,并提取网络数据包之中的会话信息和网络应用层负载信息,然后根据会话信息和网络应用层负载信息生成检测样本,之后根据检测样本生成抽象特征,最后根据抽象特征进行分类以检测异常流量。由此,实现了从无标签的网络数据包中获取抽象特征,根据抽象特征进行分类,无需人工构造特征,节省了人力和时间成本,并且根据检测样本生成的抽象特征,相比人工构造的特征,灵活性和适用性较高。
图6示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图6显示的计算机设备12仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的方法。
在本说明书的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种异常流量的检测方法,其特征在于,包括:
获取网络数据包,并提取所述网络数据包之中的会话信息和网络应用层负载信息;
根据所述会话信息和所述网络应用层负载信息生成检测样本;
根据所述检测样本生成抽象特征;以及
根据所述抽象特征进行分类以检测异常流量。
2.如权利要求1所述的异常流量的检测方法,其特征在于,在所述根据所述会话信息和所述网络应用层负载信息生成检测样本之后,还包括:
对所述检测样本进行归一化处理。
3.如权利要求1或2所述的异常流量的检测方法,其特征在于,所述会话信息包括协议类型、端口特征值、网络消息控制协议ICMP类型值、ICMP代码值、传输控制协议TCP标志位、一个会话中数据包时间间隔的平均值、一个会话中数据包时间间隔的方差值。
4.如权利要求1或2所述的异常流量的检测方法,其特征在于,所述网络应用层负载信息为网络应用层负载数据中预设字节长度的部分。
5.如权利要求3所述的异常流量的检测方法,其特征在于,所述会话信息通过以下步骤进行归一化处理,包括:
保持协议类型不变;
端口特征值除以第一预设值;
ICMP类型值和ICMP代码值除以第二预设值。
6.如权利要求5所述的异常流量的检测方法,其特征在于,还包括:
获取TCP标志位、一个会话中数据包时间间隔的平均值或一个会话中数据包时间间隔的方差值中的最大值和最小值;
用最大最小规范化算法将所述TCP标志位、一个会话中数据包时间间隔的平均值或一个会话中数据包时间间隔的方差值归一化到0-1之间。
7.一种异常流量的检测装置,其特征在于,包括:
获取模块,用于获取网络数据包,并提取所述网络数据包之中的会话信息和网络应用层负载信息;
第一生成模块,用于根据所述会话信息和所述网络应用层负载信息生成检测样本;
第二生成模块,用于根据所述检测样本生成抽象特征;以及
分类模块,用于根据所述抽象特征进行分类以检测异常流量。
8.如权利要求7所述的异常流量的检测装置,其特征在于,还包括:
处理模块,用于在所述根据所述会话信息和所述网络应用层负载信息生成检测样本之后,对所述检测样本进行归一化处理。
9.一种计算机设备,其特征在于,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-6中任一所述的异常流量的检测方法。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的异常流量的检测方法。
CN201811207593.3A 2018-10-17 2018-10-17 异常流量的检测方法、装置、计算机设备和存储介质 Active CN109040141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811207593.3A CN109040141B (zh) 2018-10-17 2018-10-17 异常流量的检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811207593.3A CN109040141B (zh) 2018-10-17 2018-10-17 异常流量的检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109040141A true CN109040141A (zh) 2018-12-18
CN109040141B CN109040141B (zh) 2019-11-12

Family

ID=64613007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811207593.3A Active CN109040141B (zh) 2018-10-17 2018-10-17 异常流量的检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN109040141B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109818961A (zh) * 2019-01-30 2019-05-28 广东工业大学 一种网络入侵检测方法、装置和设备
CN110324323A (zh) * 2019-06-19 2019-10-11 全球能源互联网研究院有限公司 一种新能源厂站涉网端实时交互过程异常检测方法及系统
CN111614614A (zh) * 2020-04-14 2020-09-01 瑞数信息技术(上海)有限公司 应用于物联网的安全监测方法和装置
CN111669396A (zh) * 2020-06-15 2020-09-15 绍兴文理学院 一种软件定义物联网自学习安全防御方法及系统
CN111953504A (zh) * 2019-05-15 2020-11-17 中国电信股份有限公司 异常流量检测方法和装置、计算机可读存储介质
CN112165408A (zh) * 2020-09-16 2021-01-01 杭州安恒信息技术股份有限公司 一种模拟客户串联部署环境的测试方法和装置
CN113762299A (zh) * 2020-06-28 2021-12-07 北京沃东天骏信息技术有限公司 一种异常流量检测方法和装置
CN114128215A (zh) * 2019-07-23 2022-03-01 日本电信电话株式会社 异常检测装置、异常检测方法以及异常检测程序
CN114205164A (zh) * 2021-12-16 2022-03-18 北京百度网讯科技有限公司 流量分类方法及装置、训练方法及装置、设备和介质
CN114430378A (zh) * 2020-10-15 2022-05-03 中国移动通信集团浙江有限公司 聊天机器人的异常检测方法、装置、计算设备及存储介质
CN114666398A (zh) * 2020-12-07 2022-06-24 深信服科技股份有限公司 应用分类方法、装置、设备及存储介质
CN115051847A (zh) * 2022-06-07 2022-09-13 中国电子信息产业集团有限公司第六研究所 确定拒绝服务攻击的攻击等级的方法、装置和电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060198313A1 (en) * 2005-03-01 2006-09-07 Nec Corporation Method and device for detecting and blocking unauthorized access
CN101014016A (zh) * 2006-02-16 2007-08-08 飞塔信息科技(北京)有限公司 用于内容类型分类的系统和方法
CN101345704A (zh) * 2008-08-15 2009-01-14 南京邮电大学 基于支持向量机的对等网络流量检测方法
CN101471936A (zh) * 2007-12-29 2009-07-01 华为技术有限公司 建立ip会话的方法、装置及系统
CN101645806A (zh) * 2009-09-04 2010-02-10 东南大学 Dpi和dfi相结合的网络流量分类系统及分类方法
CN102739457A (zh) * 2012-07-23 2012-10-17 武汉大学 一种基于dpi和svm技术的网络流量识别系统及方法
CN103036802A (zh) * 2013-01-08 2013-04-10 中国科学院计算技术研究所 一种流量卸载的方法和系统
US20130212265A1 (en) * 2010-07-09 2013-08-15 Jose Rubio Vidales Method and apparatus for traffic classification
CN103840983A (zh) * 2014-01-09 2014-06-04 中国科学技术大学苏州研究院 基于协议行为分析的web隧道检测方法
CN104219221A (zh) * 2014-05-30 2014-12-17 郭瑞 一种网络安全流量生成方法和系统
CN105991637A (zh) * 2015-06-15 2016-10-05 杭州迪普科技有限公司 网络攻击的防护方法和装置
CN107646190A (zh) * 2015-03-17 2018-01-30 英国电讯有限公司 使用傅里叶变换的恶意加密网络流量识别
CN108040052A (zh) * 2017-12-13 2018-05-15 北京明朝万达科技股份有限公司 一种基于Netflow日志数据的网络安全威胁分析方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060198313A1 (en) * 2005-03-01 2006-09-07 Nec Corporation Method and device for detecting and blocking unauthorized access
CN101014016A (zh) * 2006-02-16 2007-08-08 飞塔信息科技(北京)有限公司 用于内容类型分类的系统和方法
CN101471936A (zh) * 2007-12-29 2009-07-01 华为技术有限公司 建立ip会话的方法、装置及系统
CN101345704A (zh) * 2008-08-15 2009-01-14 南京邮电大学 基于支持向量机的对等网络流量检测方法
CN101645806A (zh) * 2009-09-04 2010-02-10 东南大学 Dpi和dfi相结合的网络流量分类系统及分类方法
US20130212265A1 (en) * 2010-07-09 2013-08-15 Jose Rubio Vidales Method and apparatus for traffic classification
CN102739457A (zh) * 2012-07-23 2012-10-17 武汉大学 一种基于dpi和svm技术的网络流量识别系统及方法
CN103036802A (zh) * 2013-01-08 2013-04-10 中国科学院计算技术研究所 一种流量卸载的方法和系统
CN103840983A (zh) * 2014-01-09 2014-06-04 中国科学技术大学苏州研究院 基于协议行为分析的web隧道检测方法
CN104219221A (zh) * 2014-05-30 2014-12-17 郭瑞 一种网络安全流量生成方法和系统
CN107646190A (zh) * 2015-03-17 2018-01-30 英国电讯有限公司 使用傅里叶变换的恶意加密网络流量识别
CN105991637A (zh) * 2015-06-15 2016-10-05 杭州迪普科技有限公司 网络攻击的防护方法和装置
CN108040052A (zh) * 2017-12-13 2018-05-15 北京明朝万达科技股份有限公司 一种基于Netflow日志数据的网络安全威胁分析方法及系统

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109818961A (zh) * 2019-01-30 2019-05-28 广东工业大学 一种网络入侵检测方法、装置和设备
CN111953504B (zh) * 2019-05-15 2023-03-24 中国电信股份有限公司 异常流量检测方法和装置、计算机可读存储介质
CN111953504A (zh) * 2019-05-15 2020-11-17 中国电信股份有限公司 异常流量检测方法和装置、计算机可读存储介质
CN110324323B (zh) * 2019-06-19 2024-01-19 全球能源互联网研究院有限公司 一种新能源厂站涉网端实时交互过程异常检测方法及系统
CN110324323A (zh) * 2019-06-19 2019-10-11 全球能源互联网研究院有限公司 一种新能源厂站涉网端实时交互过程异常检测方法及系统
CN114128215B (zh) * 2019-07-23 2023-05-12 日本电信电话株式会社 异常检测装置、异常检测方法以及记录介质
CN114128215A (zh) * 2019-07-23 2022-03-01 日本电信电话株式会社 异常检测装置、异常检测方法以及异常检测程序
CN111614614A (zh) * 2020-04-14 2020-09-01 瑞数信息技术(上海)有限公司 应用于物联网的安全监测方法和装置
CN111669396A (zh) * 2020-06-15 2020-09-15 绍兴文理学院 一种软件定义物联网自学习安全防御方法及系统
CN113762299A (zh) * 2020-06-28 2021-12-07 北京沃东天骏信息技术有限公司 一种异常流量检测方法和装置
CN112165408A (zh) * 2020-09-16 2021-01-01 杭州安恒信息技术股份有限公司 一种模拟客户串联部署环境的测试方法和装置
CN114430378B (zh) * 2020-10-15 2023-08-18 中国移动通信集团浙江有限公司 聊天机器人的异常检测方法、装置、计算设备及存储介质
CN114430378A (zh) * 2020-10-15 2022-05-03 中国移动通信集团浙江有限公司 聊天机器人的异常检测方法、装置、计算设备及存储介质
CN114666398B (zh) * 2020-12-07 2024-02-23 深信服科技股份有限公司 应用分类方法、装置、设备及存储介质
CN114666398A (zh) * 2020-12-07 2022-06-24 深信服科技股份有限公司 应用分类方法、装置、设备及存储介质
CN114205164A (zh) * 2021-12-16 2022-03-18 北京百度网讯科技有限公司 流量分类方法及装置、训练方法及装置、设备和介质
CN114205164B (zh) * 2021-12-16 2023-07-18 北京百度网讯科技有限公司 流量分类方法及装置、训练方法及装置、设备和介质
CN115051847A (zh) * 2022-06-07 2022-09-13 中国电子信息产业集团有限公司第六研究所 确定拒绝服务攻击的攻击等级的方法、装置和电子设备
CN115051847B (zh) * 2022-06-07 2024-01-19 中国电子信息产业集团有限公司第六研究所 确定拒绝服务攻击的攻击等级的方法、装置和电子设备

Also Published As

Publication number Publication date
CN109040141B (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN109040141B (zh) 异常流量的检测方法、装置、计算机设备和存储介质
CN112953924B (zh) 网络异常流量检测方法、系统、存储介质、终端及应用
US9824195B2 (en) Calculating consecutive matches using parallel computing
US9038172B2 (en) Robust anomaly detection and regularized domain adaptation of classifiers with application to internet packet-flows
US11595357B2 (en) Identifying DNS tunneling domain names by aggregating features per subdomain
CN109067586B (zh) DDoS攻击检测方法及装置
CN114205106B (zh) 用于检测可疑网络行为的深度嵌入式自学系统和方法
CN113114694B (zh) 一种面向高速网络分组抽样数据采集场景的DDoS攻击检测方法
CN109067787B (zh) 分布式拒绝服务ddos攻击检测方法和装置
CN111885035A (zh) 一种网络异常检测方法、系统、终端以及存储介质
CN112019497A (zh) 一种基于词嵌入的多阶段网络攻击检测方法
CN110071934B (zh) 用于网络异常检测的局部敏感性计数摘要方法及系统
US20200304535A1 (en) System And Method For Detecting And Identifying A Cyber-Attack On A Network
CN110012037A (zh) 基于不确定性感知攻击图的网络攻击预测模型构建方法
Patcha et al. Network anomaly detection with incomplete audit data
Atli Anomaly-based intrusion detection by modeling probability distributions of flow characteristics
CN112804253A (zh) 一种网络流量分类检测方法、系统及存储介质
Chiu et al. Semi-supervised learning for false alarm reduction
CN113268735B (zh) 分布式拒绝服务攻击检测方法、装置、设备和存储介质
Kim et al. Early detection of network intrusions using a gan-based one-class classifier
Cao et al. An intrusion detection system based on stacked ensemble learning for IoT network
Atli et al. Network intrusion detection using flow statistics
CN107124410A (zh) 基于机器深度学习的网络安全态势特征聚类方法
CN116486115A (zh) 基于物联网的路由数据管理方法
Giacinto et al. Network intrusion detection by combining one-class classifiers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211011

Address after: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.