CN115834242A - 网络流量的特征提取方法及装置、设备、存储介质 - Google Patents

Abstract

本申请提供了一种网络流量的特征提取方法及装置、电子设备、存储介质，方法包括：获取待检测流量；针对多个流量包中的每一流量包，根据协议数据，提取流量包对应的协议特征；根据网络载荷数据，提取流量包对应的字符特征；对协议特征和字符特征进行融合处理，得到流量包的一个子特征，确定多个流量包对应的多个子特征为待检测流量的目标特征。这样，融合后得到的子特征有效融合了协议特征的信息以及字符特征的信息，使得子特征能够有效的表征每一流量包的流量特征，进而在将多个流量包对应的多个子特征确定为待检测流量的目标特征时，也可以使得目标特征够有效的表征待检测流量的流量特征。

Description

网络流量的特征提取方法及装置、设备、存储介质

技术领域

本申请涉及网络技术领域，尤其涉及一种网络流量的特征提取方法及装置、设备、存储介质。

背景技术

随着互联网的普及和网络技术的快速发展，网络流量呈现爆炸式增长，网络流量中包含着设备之间的交互信息，因此对网络流量的分析，是网络带宽规划、网络入侵检测与防御、物联网(Internet of Things，IOT)资产识别以及恶意流量检测等任务的重要前提，但网络流量的加密，内容随机性等特性也使分析其面临着巨大的挑战。相关技术中，一般采用基于机器学习的流量分类方法，对网络流量进行分析，而用于流量分类的机器学习模型的训练样本往往是网络流量的整个抓包文件。由于整个抓包文件存在大量无效信息，会使得机器学习模型容易学习到无关信息，对重要特征反而学习不到。

因此，相关技术存在提取的网络流量特征不准确的问题。

发明内容

本申请主要提供一种网络流量的特征提取方法及装置、设备、存储介质，能够克服相关技术中提取的网络流量特征不准确的问题。

本申请实施例的技术方案是这样实现的：

本申请实施例提供了一种网络流量的特征提取方法，包括：

获取待检测流量；所述待检测流量包括多个流量包；每一所述流量包包括：协议数据以及网络载荷数据；

针对多个所述流量包中的每一所述流量包，根据所述协议数据，提取所述流量包对应的协议特征；

根据所述网络载荷数据，提取所述流量包对应的字符特征；

对所述协议特征和所述字符特征进行融合处理，得到所述流量包的一个子特征，确定多个所述流量包对应的多个所述子特征为所述待检测流量的目标特征。

本申请实施例提供一种网络流量的特征提取装置，所述装置包括：

获取单元，用于获取待检测流量；所述待检测流量包括多个流量包；每一所述流量包包括：协议数据以及网络载荷数据；

提取单元，用于针对多个所述流量包中的每一所述流量包，根据所述协议数据，提取所述流量包对应的协议特征；

所述提取单元，还用于根据所述网络载荷数据，提取所述流量包对应的字符特征；

融合单元，用于对所述协议特征和所述字符特征进行融合处理，得到所述流量包的一个子特征，确定多个所述流量包对应的多个所述子特征为所述待检测流量的目标特征。

本申请实施例提供一种网络流量的特征提取设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的网络流量的特征提取方法。

本申请实施例提供一种存储介质，所述存储介质上存储有可执行指令，该可执行指令被处理器执行时实现申请实施例提供的网络流量的特征提取方法。

本申请实施例具有以下有益效果：

本申请实施例根据对待检测流量的多个流量包中的每一流量包的协议数据进行特征提取，得到每一流量包对应的协议特征；对每一流量包的网络载荷数据进行特征提取，得到每一流量包对应的字符特征；然后对每一流量包对应的协议特征以及字符特征进行融合处理，得到每一个流量包对应的一个子特征。这样，每一个流量包对应的子特征有效融合了协议特征的信息以及字符特征的信息，使得子特征能够有效的表征每一流量包的流量特征，进而在将多个流量包对应的多个子特征确定为待检测流量的目标特征时，可以获得更加全面、丰富的目标特征。如此，提高了网络流量特征的准确性。

附图说明

图1为本申请实施例提供的网络流量的特征提取的一个可选的流程示意图；

图2为本申请实施例提供的网络流量的特征提取方法的一个可选的流程示意图；

图3为本申请实施例提供的网络流量的特征提取方法的一个可选的流程示意图；

图4为本申请实施例提供的网络流量的特征提取方法的一个可选的流程示意图；

图5为本申请实施例提供的网络流量的特征提取方法的一个可选的流程示意图；

图6为本申请实施例提供的网络流量的特征提取装置的组成结构示意图；

图7为本申请实施例提供的网络流量的特征提取设备的组成结构示意图。

具体实施方式

下面结合附图和具体实施例对本申请的技术方案进一步详细阐述。

为了使本技术领域的人员更好地理解本公开实施例方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。

本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”、和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例提供一种网络流量的特征提取方法，本申请实施例可以应用于各种电子设备中，该电子设备包括但不限于固定设备和/或移动设备，例如，所述固定设备包括但不限于：个人电脑(Personal Computer，PC)、或者服务器等，所述服务器可以是云服务器或普通服务器。所述移动设备包括但不限于：手机、平板电脑或可穿戴式设备中的一项或是多项。

图1为本申请实施例的网络流量的特征提取方法的流程图，如图1所示，该流程可以包括：

S101、获取待检测流量。

其中，所述待检测流量包括多个流量包；多个所述流量包中的每一所述流量包包括：协议数据以及网络载荷数据。这里，待检测流量可以是目标设备的网络流量，该网络流量可以包括目标设备发送的网络流量，也可以包括目标设备接收的网络流量。在一些实施例中，上述目标设备可以是IOT设备。

在一些实施例中，特征提取装置拦截从目标设备发出的网络流量或者其他设备向目标设备发送的网络流量。该特征提取装置可以被设置在目标设备一侧网络的交换机上，从而获取到与目标设备进行交互的网络流量。

在一些实施例中，特征提取装置可以是例如tcpdump等开源的抓包工具，也可以是流量采集探针。

在一些实施例中，获取待检测流量包括：特征提取装置获取目标设备的目标地址；根据目标设备的目标地址，利用流量获取设备拦截获取待检测流量。

在一些实施例中，通过特征提取装置拦截到待检测流量之后，可以获得待检测流量包括的多个流量包。其中，每一个流量包可以包括协议数据以及网络载荷数据。该协议数据可以为流量包在网络模型的各层中所使用的协议数据。在一些实施例中，协议数据可以是各个协议的标头，通过解析协议数据可以获得各个协议类型的语义字段。网络载荷数据可以为流量包中的有效数据，其中，网络载荷数据可以由多个16进制的字符组成，每个字符由空格分开。

S102、针对多个所述流量包中的每一所述流量包，根据所述协议数据，提取所述流量包对应的协议特征。

在一些实施例中，协议数据包括：多个协议类型中的每一协议类型对应的标头字段。特征提取装置解析每一协议类型对应的标头字段，按照每一协议类型的预设字段，提取与预设字段对应的特征字段，将提取的特征字段作为流量包对应的协议特征。其中，特征提取装置在解析每一协议类型对应的标头字段之前，可以先获取每一协议类型的预设字段，例如当协议类型为TCP协议时，该协议的预设字段可以包括源端口号和目的口号等；然后按照获取的预设字段提取与预设字段对应的特征字段，将提取的特征字段作为流量包对应的协议特征。

在一些实施例中，每一流量包中都包含有各个层的不同协议类型的协议内容，例如在网络层工作的互联网通信协议第四版(Internet Protocol version 4，IPv4)、在传输层工作的传输控制协议(Transmission Control Protocol，TCP)、用户数据报协议(UserDatagram Protocol，UDP)以及在应用层工作的超文本传输协议(Hyper Text TransferProtocol，HTTP)等。每一协议类型都有其标头，每个标头又有语义字段，特征提取装置需要根据各个层的协议内容将每一协议类型对应的特征字段提取出来，作为该流量包的协议特征。

S103、根据所述网络载荷数据，提取所述流量包对应的字符特征。

这里，字符特征用于表征流量包的网络载荷数据中的字符信息的语义以及字符信息在网络载荷数据中的出现次数。

在一些实施例中，提取流量包对应的字符特征，可以包括：特征提取装置获取预设字符集合以及词向量模型，根据预设字符集合、词向量模型以及网络载荷数据，提取流量包对应的字符特征。其中，预设字符集合用于确定网络载荷数据中每一字符信息的出现次数；将每一字符信息输入词向量模型可以输出每一字符信息的语义特征。

S104、对所述协议特征和所述字符特征进行融合处理，得到所述流量包的一个子特征，确定多个所述流量包对应的多个所述子特征为所述待检测流量的目标特征。

特征提取装置在提取每一流量包的协议特征和字符特征之后，可以对协议特征和字符特征进行融合处理，将融合后的协议特征和字符特征作为每一流量包的一个子特征。在一些实施例中，融合处理可以是拼接处理。

其中，协议特征和字符特征均可以为特征矩阵，子特征的矩阵维度可以是协议特征的矩阵维度与字符特征的矩阵维度之和。

作为示例，协议特征可以是1×A的矩阵，字符特征可以是1×B的矩阵，其中，协议特征的维度为1×A维，字符特征的维度为1×B维，融合协议特征和字符特征而得到的子特征同样也是一个矩阵，即子特征的维度为1×(A+B)维。

这样，通过对每一流量包的协议特征和字符特征进行融合处理，得到子特征，从而使得子特征有效融合了协议特征的信息和字符特征的信息，使得子特征能够有效的表征每一流量包的流量特征。因为子特征能够有效的表征每一流量包的流量特征，目标特征包含待检测流量中多个流量包对应的多个子特征，所以目标特征也可以有效的表征待检测流量的流量特征。

在一些实施例中，在获得待检测流量中多个流量包对应的多个子特征之后，可以将多个子特征输入到流量识别模型中，确定该待检测流量是否为恶意流量，或者也可以将多个子特征输入到流量分类模型中，以对待检测流量分类。

在其他实施例中，每一流量包可以仅包括协议数据，此时可以将根据协议数据提取的协议特征确定为流量包的一个子特征。在一些实施例中，每一流量包也可以仅包括字符特征，此时可以将根据网络载荷数据提取的字符特征确定为流量包的一个子特征。

如此，本申请实施例根据对待检测流量的多个流量包中的每一流量包的协议数据进行特征提取，得到每一流量包对应的协议特征；对每一流量包的网络载荷数据进行特征提取，得到每一流量包对应的字符特征；然后对每一流量包对应的协议特征以及字符特征进行融合处理，得到每一个流量包对应的一个子特征。这样，每一流量包的一个子特征能够有效的融合协议特征的信息和字符特征的信息，使得子特征能够有效的表征每一流量包的流量特征，进而在将多个流量包对应的多个子特征确定为待检测流量的目标特征时，可以获得更加全面、丰富的目标特征。如此，提高了网络流量特征的准确性。

在一些实施例中，参见图2，图2是本申请实施例提供的网络流量的特征提取方法的一个可选的流程示意图，图1示出的S102中的“根据所述协议数据，提取所述流量包对应的协议特征”还可以通过S201至S203实现，将结合各步骤进行说明。

S201、解析每一所述协议类型对应的所述标头字段，得到每一所述协议类型对应的字段特征集合。

在一些实施例中，特征提取装置可以对流量包的网络体系结构的每层中的协议类型对应的标头字段进行解析，得到每一协议类型对应的字段特征集合。

例如，特征提取装置解析传输层中的协议特征时，可以对TCP协议的标头字段进行解析，得到TCP协议对应的字段特征集合，该字段特征集合可以包括源端口号、目的口号、TCP报文的序列号、Sequence Number的确认号等字段，也可以对UDP协议的标头字段进行解析，得到UDP协议对应的字段特征集合，该字段特征集合可以包括源端口号、目的端口号，UDP数据报长度以及校验和等字段。

S202、利用预设程序，在多个所述协议类型分别对应的所述字段特征集合中，按照预定顺序提取至少一个预设协议类型对应的初始协议特征。

在一些实施例中，特征提取装置先按照预定协议类型顺序对需要提取字段的中间字段特征集合进行排序，然后按照预定字段顺序依次在中间字段特征集合中提取字段，将按照预定协议类型顺序以及预定字段顺序排列的字段作为初始协议特征。

这里，预设程序可以是用户预先设置的配置文件，该配置文件用于确定提取不同协议类型对应的字段的提取顺序，这样可以对齐提取的协议特征。预定顺序可以包括预定协议类型顺序以及预定字段顺序。

在一些实施例中，预定协议类型顺序可以根据每一协议类型对应的字段特征集合确定。例如，当协议类型包括IPv4协议、TCP协议以及UDP协议时，可以确定预定协议类型顺序为[IPv4，TCP，UDP]，即依次提取IPv4协议、TCP协议以及UDP协议对应的字段特征集合中的字段。

在一些实施例中，预定字段顺序可以根据流量包中的每一协议类型中的标头字段确定，即不同的协议类型可以对应不同的预定字段顺序。例如协议类型为TCP协议的情况下，TCP协议对应的标头字段依次是源端口号、目的端口号、TCP报文的序列号、SequenceNumber的确认号…以及位于最后的tcp_urp(16位紧急指针)，所以根据TCP协议对应的标头字段，可以确定TCP协议的预定字段顺序是[tcp_sport，tcp_dport，tcp_seq......tcp_urp]，其中tcp_sport为源端口号，tcp_dport为目的端口号，tcp_seq为TCP报文的序列号，tcp_urp为16位紧急指针。

在一些实施例中，预设协议类型用于表征多个协议类型中需要提取字段的协议类型，可以将多个协议类型中的部分协议类型作为提取字段的协议类型，也可以将多个协议类型中的全部协议类型作为提取字段的协议类型。

在一些实施例中，初始协议特征是指在多个协议类型分别对应的所述字段特征集合中，提取的原始字段。该初始协议特征可以是字段按照预定顺序排列而构成的字段特征矩阵。该字段特征矩阵可以是1×N维的特征矩阵，其中N为所有协议类型中的字段的个数。该字段特征矩阵的列元素为按照预定顺序排列的字段。N为大于或者等于1的整数。

S203、对所述初始协议特征进行归一化处理得到所述协议特征。

在一些实施例中，初始协议特征是16进制内容，所以特征提取装置需要对初始协议特征中的字符进行10进制的转化处理。

在一些实施例中，对所述初始协议特征进行归一化处理可以是，特征提取装置对字段特征矩阵的列元素进行归一化处理，即对按照预定顺序排列的字段进行归一化处理。归一化处理可以将各个协议类型的字段映射到[0，1]或者[-1，1]之间，这样可以可以减小不同字段的差异化，而且可以将电子设备不能识别的字母转化为数字。在一些实施例中，归一化处理可以包括线性归一化、零-均值归一化以及非线性归一化等。

这样，本申请实施例解析每一协议类型对应的标头字段，得到每一协议类型对应的字段特征集合；利用预设程序，在多个协议类型分别对应的字段特征集合中，按照预定顺序提取至少一个预设协议类型对应的初始协议特征；对初始协议特征进行归一化处理得到协议特征。如此，通过预设程序可以按照预定顺序提取字段，得到初始协议特征，实现了特征对齐，然后对初始协议特征进行归一化处理得到协议特征，可以减小不同字段的差异化。

参见图3，图3是本申请实施例提供的网络流量的特征提取方法的一个可选的流程示意图，图2示出的S202中的“在多个所述协议类型分别对应的所述字段特征集合中，按照预定顺序提取至少一个预设协议类型对应的初始协议特征”还可以通过S301至S304实现，将结合各步骤进行说明。

S301、在多个所述字段特征集合中，确定属于至少一个所述预设协议类型分别对应的中间字段特征集合。

这里，确定中间字段特征集合可以包括：特征提取装置遍历每个字段特征集合所属的协议类型，在检测出所属协议类型是预设协议类型的情况下，确定该字段特征集合为中间字段特征集合，直至多个字段特征集合遍历完成，得到至少一个中间字段特征集合。

在一些实施例中，预设协议类型可以是流量包中的所有协议类型，或者预设协议类型的数量要大于流量包中的所有协议类型的数量。这样，在确定中间字段特征集合时，可以将多个字段特征集合均确定为中间字段特征集合。

如此，通过设置预设协议类型，可以在字段特征集合中更加灵活的确定所需要的中间字段特征集合。

S302、按照至少一个所述预设协议类型的预定协议类型顺序，对至少一个所述中间字段特征集合进行排序。

在确定至少一个中间字段特征集合之后，特征提取装置需要按照至少一个预设协议类型的预定协议类型顺序，对至少一个中间字段特征集合进行排序。

例如，在预设协议类型包括IPv4协议、TCP协议以及UDP协议，且预定协议类型顺序为[IPv4，TCP，UDP]时，可以按照[IPv4，TCP，UDP]，排列IPv4协议对应的中间字段特征集合、TCP协议对应的中间字段特征集合以及UDP协议对应的中间字段特征集合的提取顺序。即在提取字段时，先提取IPv4协议对应的中间字段特征集合中的字段，然后提取TCP协议对应的中间字段特征集合中的字段，最后提取UDP协议对应的中间字段特征集合中的字段。

S303、依次在各个所述中间字段特征集合中按照预定字段顺序提取字段特征。

在对至少一个中间字段特征集合进行排序之后，特征提取装置需要按照预定字段顺序在每一中间字段特征集合中提取字段。

在一些实施例中，S303可以包括以下步骤：

S3031，在所述中间字段特征集合中存在属于N个预设字段类别的字段的情况下，特征提取装置在至少一个所述字段中按照N个所述预设字段类别顺序依次提取属于N个所述预设字段类别的N个字段，确定所述N个字段为所述字段特征；N为大于或者等于1的整数。

这里，中间字段特征集合包括至少一个字段，不同字段属于不同的预设字段类别，在一些实施例中，预设字段类别是指字段的含义，例如TCP协议所包括的预设字段类别可以是源端口号、目的端口号以及TCP报文的序列号。

例如，TCP协议的中间字段特征集合包括{a，b，c}，TCP协议所包括的预设字段类别为源端口号、目的端口号以及TCP报文的序列号。其中a属于源端口号，b属于目的端口号，c属于TCP报文的序列号。此时，TCP协议的中间字段特征集合中存在属于TCP协议的3个预设字段类别的字段，特征提取装置按照TCP协议的预定字段类别顺序([tcp_sport，tcp_dport，tcp_seq])提取字段。

S3032、在所述中间字段特征集合中不存在属于第一预设字段类别的字段的情况下，特征提取装置将空白字段作为与所述第一预设字段类别对应的字段，在至少一个所述字段中按照N个所述预设字段类别顺序依次提取属于N个所述预设字段类别的N个字段，确定所述N个字段为所述字段特征。

这里，第一预设字段类别属于N个预设字段类别中的一个或者多个。在一些实施例中，空白字段可以通过字段“ff”表示。

在中间字段特征集合中不存在属于第一预设字段类别的字段的情况下，可以先将空白字段作为与第一预设字段类别对应的字段。特征提取装置然后按照预定字段类别顺序依次提取属于N个预设字段类别的N个字段。如此，可以保证在中间字段特征集合中不存在属于N个预设字段类别的字段的情况下，提取的字段的个数与在中间字段特征集合中存在属于N个预设字段类别的字段的情况下提取的字段的个数相同，进而保证特征的对齐。

在一些实施例中，S3031与S3032可以同时进行，即特征提取装置在中间字段特征集合中按照预定字段顺序依次提取属于N个预设字段类别的N个字段，出现中间字段特征集合中没有属于N个预设字段类别的字段的情况时，将空白字段作为对应的字段。最后，将提取到的N个字段作为中间字段特征集合的字段特征。

这样，本申请实施例特征提取装置依次在各个中间字段特征集合中按照预定字段顺序提取字段特征时，将空白字段作为中间字段特征集合中第一预设字段类别的字段，可以保证特征的对齐，即保证了相同协议类型提取出的字段个数是相同的。

S304、按照至少一个所述中间字段特征集合的次序，将各个所述中间字段特征集合对应的所述字段特征排序，得到字段特征矩阵，确定所述字段特征矩阵为所述初始协议特征。

特征提取装置在提取出各个中间字段特征集合的对应的字段特征之后，可以按照S301确定出的中间字段特征集合的次序，对各个中间字段特征集合的对应的字段特征进行排序，得到字段特征矩阵。

其中，字段特征矩阵为1×N维的特征矩阵，该字段特征矩阵中的列元素是按照预定协议类型顺序以及预定字段顺序排列的多个字段。

这样，本申请实施例可以在多个所述字段特征集合中确定需要提取字段的中间字段特征集合，然后按照预定协议类型顺序对至少一个中间字段特征集合进行排序，再依次在各个中间字段特征集合中按照预定字段顺序提取字段特征，当中间字段特征集合中不存在属于第一预设字段类别的字段时，将空白字段作为中间字段特征集合中第一预设字段类别的字段。最后按照中间字段特征集合的次序，排序字段特征，得到字段特征矩阵。如此，可以保证提取的协议特征是对齐的，也就保证了在中间字段特征集合所述的协议类型是相同的情况下，提取的协议特征的一致性。

参见图4，图4是本申请实施例提供的网络流量的特征提取方法的一个可选的流程示意图，图1示出的S103还可以通过S401至S403实现，图1示出的S104还可以通过S404实现，将结合各步骤进行说明。

S401、获取预设字符集合。

这里，预设字符集合包括所有16进制的预设字符，其中，该预设字符的个数为256，即该预设字符集合为{0，1，2…FF}。

在一些实施例中，预设字符集合预先存储在网络流量的特征提取装置中的存储单元中，在需要获取预设字符集合时，特征提取装置中的获取单元可以向存储单元发送获取指令，该获取指令用于指示存储单元发送预设字符集合。

S402、根据所述网络载荷数据以及所述预设字符集合，确定所述字符频率特征。

在一些实施例中，确定字符频率特征的方式，可以是特征提取装置确定预设字符集合中多个预设字符中的每一预设字符在网络载荷数据中的出现次数，将每一预设字符在网络载荷数据中的出现次数确定为字符频率特征。

这里，网络载荷数据是由多个字符信息组成的源数据，该字符信息可以是预设字符集合中的部分或者全部预设字符。例如，网络载荷数据是流量包中的流量载荷(payload)，该流量载荷由多个16进制的字符信息组成。

在一些实施例中，S402可以包括以下步骤：

S4021、根据所述网络载荷数据，确定所述多个预设字符中的每一预设字符在所述网络载荷数据中的出现次数。

在一些实施例中，获取到包括多个预设字符的预设字符集合后，可以确定预设字符集合中每一预设字符在网络载荷数据中的出现次数。例如，预设字符为3A时，则需要确定3A在网络载荷数据中的出现次数。在一些实施例中，当某一预设字符没有在网络载荷数据中出现时，可以将出现次数设置为0。这样，便可以统计出所有16进制的预设字符在网络载荷数据中的出现次数。

S4022、依次将每一所述预设字符在所述网络载荷数据中的出现次数作为初始字符频率矩阵的列元素，直至所述初始字符频率矩阵的所有列元素均完成时为止，得到所述初始字符频率矩阵。

在一些实施例中，初始字符频率矩阵的维度为1×256，该初始字符频率矩阵的列元素为每一预设字符在网络载荷数据中的出现次数。

在一些实施例中，可以先构建初始字符频率矩阵，此时的初始字符频率矩阵的列元素均为空，然后根据网络载荷数据，确定多个预设字符中的每一预设字符在网络载荷数据中的出现次数，将每一预设字符在网络载荷数据中的出现次数，填入初始字符频率矩阵中对应的列元素中。

S4023、对所述初始字符频率矩阵中的列元素进行归一化处理，得到字符频率矩阵。

在一些实施例中，归一化处理可以将初始字符频率矩阵中的列元素映射到[0，1]或者[-1，1]之间，这样可以减小不同预设字符的出现次数的差异化。在一些实施例中，归一化处理可以包括线性归一化、零-均值归一化以及非线性归一化等。

S403、根据所述网络载荷数据以及词向量模型，确定所述字符语义特征。

在一些实施例中，特征提取装置可以将网络载荷数据中的每一字符信息输入到训练后的词向量模型中，得到每一字符信息的字符信息向量，然后根据每一字符信息的字符信息向量确定字符语义特征。

这里，词向量模型用于输出网络载荷数据中的字符信息对应的字符信息向量。该词向量模型可以通过待检测流量中的多个流量包对应的网络载荷数据训练。在一些实施例中，该词向量模型可以是word2vec、fasttext或者glove。

在一些实施例中，词向量模型的训练过程可以包括：先对待检测流量中的多个流量包对应的网络载荷数据进行合并处理，然后将合并处理后的多个流量包对应的网络载荷数据输入到初始词向量模型中进行无监督训练，直至达到预定训练次数或者初始词向量模型的函数收敛，得到词向量模型。

在一些实施例中，S403可以包括以下步骤：

S4031、针对多个所述字符信息中的每一所述字符信息，将所述字符信息输入至所述词向量模型，获得与所述字符信息对应的字符信息向量。

这里，特征提取装置可以将多个字符信息中的每一字符信息作为训练后的词向量模型的输入数据，训练后的词向量模型可以输出与每一字符信息对应的字符信息向量。

在一些实施例中，可以在词向量模型中预先设置输出数据(字符信息向量)的维度，该维度可以用M表示，即每一字符信息对应的字符信息向量的维度均为1×M维，在一些实施例中，M可以设置为200。

S4032、根据多个所述字符信息分别对应的所述字符信息向量，确定所述字符语义特征向量。

因为，每一网络包中的网络载荷数据包含有多个字符信息，一个字符信息对应的字符信息向量并不能代表网络载荷数据的向量表示，所以特征提取装置需要根据至少一个字符信息向量，确定网络载荷数据的字符语义特征向量。

在一些实施例中，特征提取装置可以对至少一个字符信息向量计算算数平均数，将至少一个字符信息向量的算数平均数作为网络载荷数据的字符语义特征向量(也就是字符语义特征)，其中，该字符语义特征向量的维度为1×M维。

在一些实施例中，根据至少一个字符信息向量，确定字符语义特征向量，可以包括以下步骤：

a.获取多个所述字符信息向量分别对应的权重。

在一些实施例中，特征提取装置获取每一字符信息向量的权重的方式可以是根据字符信息向量与权重的映射表确定，即根据每一字符信息向量，在映射表中确定与所述字符信息向量对应的权重。

在其他实施例中，获取每一字符信息向量的权重的方式可以是根据每一预设字符在网络载荷数据中的出现次数确定，因为预设字符在网络载荷数据中的出现次数越多，说明该预设字符的重要性也就越大，可以赋予较高的权重。

b.根据各个所述字符信息向量及对应的所述权重，对各个所述字符信息向量进行加权平均，得到所述字符语义特征向量。

特征提取装置在获得每一字符信息向量对应的权重之后，可以根据各个字符信息向量及对应的权重，对各个字符信息向量进行加权平均，得到网络载荷数据的字符语义特征向量。

在一些实施例中，S104可以包括以下步骤：

S404、对所述协议特征、所述字符频率特征以及所述字符语义特征进行拼接，得到所述流量包的一个子特征，确定多个所述流量包对应的多个所述子特征为所述待检测流量的目标特征。

在一些实施例中，拼接是指将任意两个特征进行拼接，得到拼接特征的处理过程。作为示例，协议特征的维度为1×A维，字符频率特征的维度为1×B维，字符语义特征的维度为1×C维，子特征的维度为1×(A+B+C)维。

这样，本申请实施例可以根据网络载荷数据以及预设字符集合，确定字符频率特征；根据网络载荷数据以及词向量模型，确定字符语义特征。最后通过对每一流量包的协议特征、字符频率特征以及字符语义特征进行拼接处理，得到子特征，从而使得子特征有效融合了协议特征的信息、字符频率特征的信息以及字符语义特征的信息，使得子特征能够有效的表征每一流量包的流量特征，进而在将多个流量包对应的多个子特征确定为待检测流量的目标特征时，也可以使得目标特征够有效的表征待检测流量的流量特征。

下面说明本申请实施例提供的网络流量的特征提取方法在实际场景中的应用。参见图5，图5是本申请实施例提供的网络流量的特征提取方法的一个可选的流程示意图，将结合图5示出的步骤进行说明。

S501、获取目标设备的流量。

这里，本申请实施例可以通过抓包工具(例如tcpdump等开源工具)或者探针等方式获取目标设备的流量(相当于上述实施例中的待检测流量)，每个目标设备的流量集合中是由多个packet(相当于上述实施例中的流量包)组成。目标设备可以根据IP地址确定。

S502、针对每一流量包，解析packet中每个协议的内容，得到每个协议的特征集合。

这里，每一个流量包(packet)都包含各个层的协议内容(例如IPV4，TCP，HTTP等)，每个协议都有其标头(相当于上述实施例中的标头字段)，每个标头又有语义字段，如IPTTL、TCP端口号和UDP长度字段等。这一步骤特征提取装置首先将packet的每层的协议标头进行解析，得到每个标头的特征集合(相当于上述实施例中的字段特征集合)，例如TCP协议的标头可以解析出源端口号、目的口号、TCP报文的序列号、Sequence Number的确认号等等特征。

S503、根据配置文件，对每个协议的特征集合进行特征提取，得到特征矩阵。

这里，在将每层的协议特征解析后，提取的是特征的16进制内容，自定义一个配置文件(相当于上述实施例中的预设程序)，固定提取协议及特征字段的顺序(相当于上述实施例中的预定顺序)，方便特征对齐，即当提取某个packet特征时，发现其没有某个相应字段的特征时，则用ff填充，最后将所有提取的特征集合转为10进制，同时进行归一化操作，因为电脑只能识别数字不能识别字母。同时特征之间的数值差异不会太大，例如一个端口的特征为9011，另一个端口特征为22，这之间的差异较大，此时一个packet的流量特征是一个1×N维的特征矩阵(相当于上述实施例中的协议特征)，N视用户提取的协议类型数量变化。

S504、提取网络载荷。

对于应用层，除了有底层的内容外，还有网络载荷(相当于上述实施例中的网络载荷数据)的文本内容，每个packet有0个或者1个payload(网络载荷)内容，每个payload是由多个16进制的字符组成，每个字符由空格分开，这里面包含着设备通信的重要信息，是流量特征的重要组成部分，因此对每一个packet进行遍历，将含有网络载荷的内容进行提取，为了避免进制转换后造成的乱码、不可读字符造成的消极影响，本申请提取原生的16进制内容。

S505、根据网络载荷，提取字节统计特征。

这里，可以先为每一个packet建立一个形状为1*256的特征矩阵A，因为在流量中，16进制的字符表示只有256种(相当于上述实施例中的预设字符集合)，然后，统计特征每个payload中，每个字节的出现频率，并将其填入到特征矩阵A对应的位置，例如3a这个16进制字符出现了10次，那么在A[3a]的位置填入10即可，最后对A特征矩阵进行归一化，防止差异过大，此时得到的一个packet的字节统计特征(相当于上述实施例中的字符频率特征)，维度为1×256。

S506、根据每一流量包的网络载荷，训练词向量模型。

这里，可以将每一流量包(packet)的网络载荷进行合并作为词向量模型的输入，词向量模型可以是word2vec，fasttext，glove等，模型训练后，可以得到每个16进制字符的特征表示，维度为1×M维。

S507，根据网络载荷的每一字符以及词向量模型，确定网络载荷的特征向量表示。

这里，每个payload由多个16进制字符内容(相当于上述实施例中的字符信息向量)组成，通过训练后的词向量可以得到每个16进制字符的向量表示(相当于上述实施例中的字符信息)，但这并不能代表一个payload的向量表示，因此想要得到一个payload的流量特征表示，需要遍历payload的每一个16进制字符，将其输入词向量模型，得到每个16进制字符(串)的特征向量表示，最后将一个payload里所有的16进制字符的特征向量进行加权平均，得到该payload的特征向量表示，此时维度为1×M维。

S508、融合特征矩阵、字节统计特征以及网络载荷的特征向量表示，得到一个packet的流量特征。

这里，单个方式得到的流量特征毕竟有限，为了丰富流量特征，本申请选择将多个方式提取的流量特征进行融合，不同方式提取的特征具有不同的意义，因此将多个方式提取的特征进行融合，可以获得一个更加全面的、丰富的流量特征表示(相当于上述实施例中的子特征)，本申请将多个方式提取的特征进行前后拼接得到最终的流量特征表示，此时一个packet的流量特征维度为：1×(N+256+M)。

在获得一个packet的流量特征之后，可以直接输送到流量的相关下游任务，例如异常流量检测，查看哪一个packet是恶意流量，同样也可以适用到其他流量任务，例如将相关IP的流量集合中的所有packet的流量特征输入到相关模型中，进行相关的流量任务。

相关技术在提取的网络特征时，所提取的特征泛化能力不够，也不够丰富。本申请实施例可以提取网络流量中的各种协议的全部协议特征以及提取包含字符频率特征和字符语义特征的字符特征，并且可以自定义所要提取特征的协议种类。在提取协议特征和字符特征之后，将协议特征和字符特征进行融合，获得更加全面、丰富的流量特征信息。

这样，本申请实施例可以得到丰富的packet粒度的流量特征表示，避免了传统方法的相关问题，同时可以直接输入到机器学习模型，非常方便，效果比传统的方法更好。

本申请实施例提供一种网络流量的特征提取装置，图6为本申请实施例中网络流量的特征提取装置600的组成结构示意图，如图6所示，所述装置包括：获取单元601、提取单元602以及融合单元603，其中：

获取单元601，用于获取待检测流量；所述待检测流量包括多个流量包；多个所述流量包中的每一所述流量包包括：协议数据以及网络载荷数据；

提取单元602，用于针对多个所述流量包中的每一所述流量包，根据所述协议数据，提取所述流量包对应的协议特征；

所述提取单元603，还用于根据所述网络载荷数据，提取所述流量包对应的字符特征；

融合单元603，用于对所述协议特征和所述字符特征进行融合处理，得到所述流量包的一个子特征，确定多个所述流量包对应的多个所述子特征为所述待检测流量的目标特征。

在一些实施例中，所述协议数据包括：多个协议类型中的每一所述协议类型对应的标头字段；所述提取单元602，还用于解析每一所述协议类型对应的所述标头字段，得到每一所述协议类型对应的字段特征集合；利用预设程序，在多个所述协议类型分别对应的所述字段特征集合中，按照预定顺序提取至少一个预设协议类型对应的初始协议特征；对所述初始协议特征进行归一化处理得到所述协议特征。

在一些实施例中，所述提取单元602，还用于在多个所述字段特征集合中，确定属于至少一个所述预设协议类型分别对应的中间字段特征集合；按照至少一个所述预设协议类型的预定协议类型顺序，对至少一个所述中间字段特征集合进行排序；依次在各个所述中间字段特征集合中按照预定字段顺序提取字段特征；按照至少一个所述中间字段特征集合的次序，将各个所述中间字段特征集合对应的所述字段特征排序，得到字段特征矩阵，确定所述字段特征矩阵为所述初始协议特征。

在一些实施例中，所述中间字段特征集合包括：至少一个字段；所述提取单元602，还用于在所述中间字段特征集合中存在属于N个预设字段类别的字段的情况下，在至少一个所述字段中按照N个所述预设字段类别顺序依次提取属于N个所述预设字段类别的N个字段，确定所述N个字段为所述字段特征；N为大于或者等于1的整数；在所述中间字段特征集合中不存在属于第一预设字段类别的字段的情况下，将空白字段作为与所述第一预设字段类别对应的字段，在至少一个所述字段中按照N个所述预设字段类别顺序依次提取属于N个所述预设字段类别的N个字段，确定所述N个字段为所述字段特征；所述第一预设字段类别属于N个所述预设字段类别。

在一些实施例中，所述字符特征包括字符频率特征以及字符语义特征；所述提取单元602，还用于获取预设字符集合；根据所述网络载荷数据以及所述预设字符集合，确定所述字符频率特征；根据所述网络载荷数据以及词向量模型，确定所述字符语义特征。

在一些实施例中，所述预设字符集合包括：多个预设字符；所述字符频率特征包括：字符频率矩阵；所述提取单元602，还用于根据所述网络载荷数据，确定多个所述预设字符中的每一所述预设字符在所述网络载荷数据中的出现次数；依次将每一所述预设字符在所述网络载荷数据中的出现次数作为初始字符频率矩阵的列元素，直至所述初始字符频率矩阵的所有列元素均完成时为止，得到所述初始字符频率矩阵；对所述初始字符频率矩阵中的列元素进行归一化处理，得到字符频率矩阵。

在一些实施例中，所述字符语义特征包括：字符语义特征向量；所述网络载荷数据包括多个字符信息；所述提取单元602，还用于针对多个所述字符信息中的每一所述字符信息，将所述字符信息输入至所述词向量模型，获得与所述字符信息对应的字符信息向量；根据多个所述字符信息分别对应的所述字符信息向量，确定所述字符语义特征向量。

在一些实施例中，所述提取单元602，还用于获取多个所述字符信息向量分别对应的权重；根据各个所述字符信息向量及对应的所述权重，对各个所述字符信息向量进行加权平均，得到所述字符语义特征向量。

在一些实施例中，所述融合单元603，还用于对所述协议特征、所述字符频率特征以及所述字符语义特征进行拼接，得到所述子特征。

在一些实施例中，所述获取单元601，还用于获取目标设备的目标地址；根据所述目标设备的目标地址，利用流量获取设备拦截所述待检测流量。

这样，本申请实施例提供一种网络流量的特征提取装置，该装置中的提取单元可以根据对待检测流量的多个流量包中的每一流量包的协议数据进行特征提取，得到每一流量包对应的协议特征；对每一流量包的网络载荷数据进行特征提取，得到每一流量包对应的字符特征。然后融合单元可以对每一流量包对应的协议特征以及字符特征进行融合处理，得到每一个流量包对应的一个子特征。这样，每一个流量包对应的子特征有效融合了协议特征的信息以及字符特征的信息，使得子特征能够有效的表征每一流量包的流量特征，进而在将多个流量包对应的多个子特征确定为待检测流量的目标特征时，也可以使得目标特征获得更加全面、丰富的流量特征信息。如此，提高了网络流量特征的准确性。

本申请实施例提供一种网络流量的特征提取设备，图7为本申请实施例网络流量的特征提取设备700的组成结构示意图，如图7所示，所述设备包括：处理器701和存储器702，其中：

处理器701通常控制网络流量的特征提取设备700的总体操作，总体操作可以是实现本申请实施例提供的网络流量的特征提取方法，例如，如图1至图5示出的方法。

存储器702配置为存储由处理器701可执行的指令和应用，还可以缓存待处理器701以及计算机设备中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在可读存储介质中。计算机设备的处理器从可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的网络流量的特征提取方法。

本申请实施例提供一种存储有可执行指令的可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的网络流量的特征提取方法，例如，如图1至图5示出的方法。

在一些可能的实现方式中，可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些可能的实现方式中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (13)

1.一种网络流量的特征提取方法，其特征在于，包括：

获取待检测流量；所述待检测流量包括多个流量包；每一所述流量包包括：协议数据以及网络载荷数据；

针对多个所述流量包中的每一所述流量包，根据所述协议数据，提取所述流量包对应的协议特征；

根据所述网络载荷数据，提取所述流量包对应的字符特征；

对所述协议特征和所述字符特征进行融合处理，得到所述流量包的一个子特征，确定多个所述流量包对应的多个所述子特征为所述待检测流量的目标特征。

2.根据权利要求1所述的方法，其特征在于，所述协议数据包括：多个协议类型中的每一所述协议类型对应的标头字段；

所述根据所述协议数据，提取所述流量包对应的协议特征，包括：

解析每一所述协议类型对应的所述标头字段，得到每一所述协议类型对应的字段特征集合；

利用预设程序，在多个所述协议类型分别对应的所述字段特征集合中，按照预定顺序提取至少一个预设协议类型对应的初始协议特征；

对所述初始协议特征进行归一化处理得到所述协议特征。

3.根据权利要求2所述的方法，其特征在于，所述在多个所述协议类型分别对应的所述字段特征集合中，按照预定顺序提取至少一个预设协议类型对应的初始协议特征，包括：

在多个所述字段特征集合中，确定属于至少一个所述预设协议类型分别对应的中间字段特征集合；

按照至少一个所述预设协议类型的预定协议类型顺序，对至少一个所述中间字段特征集合进行排序；

依次在各个所述中间字段特征集合中按照预定字段顺序提取字段特征；

按照至少一个所述中间字段特征集合的次序，将各个所述中间字段特征集合对应的所述字段特征排序，得到字段特征矩阵，确定所述字段特征矩阵为所述初始协议特征。

4.根据权利要求3所述的方法，其特征在于，所述中间字段特征集合包括：至少一个字段；

所述依次在各个所述中间字段特征集合中按照预定字段顺序提取字段特征，包括以下之一：

在所述中间字段特征集合中存在属于N个预设字段类别的字段的情况下，在至少一个所述字段中按照N个所述预设字段类别顺序依次提取属于N个所述预设字段类别的N个字段，确定所述N个字段为所述字段特征；N为大于或者等于1的整数；

在所述中间字段特征集合中不存在属于第一预设字段类别的字段的情况下，将空白字段作为与所述第一预设字段类别对应的字段，在至少一个所述字段中按照N个所述预设字段类别顺序依次提取属于N个所述预设字段类别的N个字段，确定所述N个字段为所述字段特征；所述第一预设字段类别属于N个所述预设字段类别。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述字符特征包括字符频率特征以及字符语义特征；

所述根据所述网络载荷数据，提取所述流量包对应的字符特征；包括：

获取预设字符集合；

根据所述网络载荷数据以及所述预设字符集合，确定所述字符频率特征；

根据所述网络载荷数据以及词向量模型，确定所述字符语义特征。

6.根据权利要求5所述的方法，其特征在于，所述预设字符集合包括：多个预设字符；所述字符频率特征包括：字符频率矩阵；

所述根据所述网络载荷数据以及所述预设字符集合，确定所述字符频率特征，包括：

根据所述网络载荷数据，确定多个所述预设字符中的每一所述预设字符在所述网络载荷数据中的出现次数；

依次将每一所述预设字符在所述网络载荷数据中的出现次数作为初始字符频率矩阵的列元素，直至所述初始字符频率矩阵的所有列元素均完成时为止，得到所述初始字符频率矩阵；

对所述初始字符频率矩阵中的列元素进行归一化处理，得到字符频率矩阵。

7.根据权利要求6所述的方法，其特征在于，所述字符语义特征包括：字符语义特征向量；所述网络载荷数据包括多个字符信息；

所述根据所述网络载荷数据以及词向量模型，确定所述字符语义特征，包括：

针对多个所述字符信息中的每一所述字符信息，将所述字符信息输入至所述词向量模型，获得与所述字符信息对应的字符信息向量；

根据多个所述字符信息分别对应的所述字符信息向量，确定所述字符语义特征向量。

8.根据权利要求7所述的方法，其特征在于，所述根据多个所述字符信息分别对应的所述字符信息向量，确定所述字符语义特征向量，包括：

获取多个所述字符信息向量分别对应的权重；

根据各个所述字符信息向量及对应的所述权重，对各个所述字符信息向量进行加权平均，得到所述字符语义特征向量。

9.根据权利要求5至8任一项所述的方法，其特征在于，所述对所述协议特征和所述字符特征进行融合处理，得到所述流量包的子特征，包括：

对所述协议特征、所述字符频率特征以及所述字符语义特征进行拼接，得到所述子特征。

10.根据权利要求1至9任一项所述的方法，其特征在于，所述获取待检测流量包括：

获取目标设备的目标地址；

根据所述目标设备的目标地址，利用流量获取设备拦截所述待检测流量。

11.一种网络流量的特征提取装置，其特征在于，所述装置包括：

获取单元，用于获取待检测流量；所述待检测流量包括多个流量包；每一所述流量包包括：协议数据以及网络载荷数据；

提取单元，用于针对多个所述流量包中的每一所述流量包，根据所述协议数据，提取所述流量包对应的协议特征；

所述提取单元，还用于根据所述网络载荷数据，提取所述流量包对应的字符特征；

融合单元，用于对所述协议特征和所述字符特征进行融合处理，得到所述流量包的一个子特征，确定多个所述流量包对应的多个所述子特征为所述待检测流量的目标特征。

12.一种网络流量的特征提取设备，其特征在于，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至10中任一项所述的方法。

13.一种存储介质，其特征在于，所述存储介质上存储有可执行指令，该可执行指令被处理器执行时实现权利要求1至10中任一项所述的方法步骤。

Images