CN113037775A

CN113037775A - 网络应用层全流量向量化记录生成方法和系统

Info

Publication number: CN113037775A
Application number: CN202110352133.5A
Authority: CN
Inventors: 支凤麟; 蔡晓华
Original assignee: Shanghai Netis Technologies Co ltd
Current assignee: Shanghai Netis Technologies Co ltd
Priority date: 2021-03-31
Filing date: 2021-03-31
Publication date: 2021-06-25
Anticipated expiration: 2041-03-31
Also published as: CN113037775B

Abstract

本发明提供了一种网络应用层全流量向量化记录生成方法和系统，包括：已知协议解析模块、信息流综合解析模块、时间窗口流量描述模块、全流量向量化模型生成模块、全流量向量化模块。本发明既全面覆盖了一个时间片内的全流量信息，又压缩了表示空间；使用深度神经网络自动提取每个时间片的全流量信息中的重要特征，而后组成全量记录。既保留了全流量的重要信息，又压缩了记录存储空间。可以广阔应用于长期记录和保存、呈现、应用层告警运算、相似性运算、安全入侵预算、价值挖掘等场景。

Description

网络应用层全流量向量化记录生成方法和系统

技术领域

本发明涉及数据处理、流量分析、日志处理、网络分析、应用性能监控领域，尤其涉及一种网络应用层全流量向量化记录生成方法和系统。

背景技术

分布式系统(distributed system)泛指建立在网络之上的软件系统，这种系统具有高度的内聚性和透明性，在商业领域、公共领域、IT基础设施领域有着广泛的应用。相应的，针对分布式系统的监控和表示也有其广泛意义和用途，例如运维保障、安全保障、数据价值挖掘等。

在分布式系统中，基于Log的监控方案其优点是易于实现，缺点是由于缺乏统一的标准，数据量过于嘈杂(譬如包括错误时的程序堆栈等)，也过于庞大，往往需要建立大规模的集群进行采集、清洗、分析和存储，这种方法所占用的带宽传输资源、计算资源、存储资源都相当庞大，一般来说投资收益比比较低。同时，对于实际项目实施，其改造和交付时间都是较长的。

而基于网络的监控方法，却有着标准相对统一，数据质量高，实施交付快等优势。基于网络的监控方法也就是基于OSI/ISO网络分层标准，通过旁路镜像系分布式系统中真实网络流量，对于镜像后的网络流量的数据包报文进行分析的方法。当前网络主要使用的基于TCP/IP协议簇的开放实现，其中的网络协议和传输协议，譬如IPv4、IPv6，TCP、UDP等都是规范的，而上层应用中，HTTP、XML、JSON、MQ、8583、SQL等也往往是由相对稳定和规范的。因此，基于网络的方案，其数据是相对标准和统一的。同时，分布式系统中，网络报文主要是服务或者应用之间的相互调用，也就是输入和输出为主的数据，因为其封装了底层的实现细节，因此相对Log数据来说，质量要高的多，可以高效地表征整体系统的运行状况。在实施上，因为数据的规范行，方案的普适性，因此实时周期短，所需的计算和存储资源都相对小，效率高。

在分布式系统中，基于网络交换数据的网络层指标和应用层指标也是用途最广泛的两类数据源。应用层指标在系统状态监控、快速异常发现、问题定位、事后复盘等工作中起到核心作用。这些指标包含但不限于特定业务行为、该业务行为的序列号、业务开始时间、业务结束时间、响应开始时间、相应结束时间、源地址、目的地址等。目前，由于应用层全量数据一方面数据量庞大，另一方面也有着丰富的多样性，因此当前往往只能根据业务经验记录应用层的部分指标，例如交易量、响应时间、成功率等做统一呈现和分析，但未记录的指标却可能包含重要的信息。

专利文献“一种流量数据的异常检测方法及装置”(CN112232948A)只能对单个流量向量化，专利文献“深度学习模型及其预测流量数据的方法”(CN111738781B)仅关注与流量数据大小相关的特征。

如何使用一种统一的方案来包含和记录更多的应用层信息，做统一的表示，做统一的运算、长期存储是个新的和充满应用价值的问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种网络应用层全流量向量化记录生成方法和系统。

根据本发明提供的一种网络应用层全流量向量化记录生成系统，包括：

已知协议解析模块：解析流经结点的原始网络流量的协议，得到已知协议流量和未知协议流量，将所述已知协议流量解析为已知协议解析列表，所述已知协议解析列表中的每项为已知协议流量的单次通信的描述元组；

信息流综合解析模块：根据已知协议解析列表和未知流量生成单信息流列表，并结合所述已知协议流量进行组合输出，得到单信息流描述元组列表，所述单信息流列表表示一个协议的单次通信所对应的数据包集合；

时间窗口流量描述模块：对所述单信息流描述元组列表按照时间片进行划分，处理时间片内的单信息流描述元组的特征以及在每个时间片内排序单信息流描述元组，对每个时间片生成时间片全流量描述矩阵，得到时间片全流量描述矩阵列表；

全流量向量化模型生成模块：采用历史的时间片全流量描述矩阵列表进行模型训练，得到全流量向量化模型；

全流量向量化模块：使用所述全流量向量化模型处理所述时间片全流量描述矩阵列表，得到全流量向量列表及对应的记录文件，所述全流量向量列表中的每个全流量向量为一个时间片的全流量向量。

优选地，所述信息流综合解析模块包括：

原始流量分割子模块：获取所述原始流量和所述已知协议解析列表，得到单信息流列表；

信息流向量化模型生成子模块：根据所述单信息流列表生成单信息流向量化模型；

信息流向量化子模块：根据所述单信息流列表生成单信息流向量列表；

信息流基本特征抽取子模块：根据所述单信息流列表进行基本特征抽取，得到基本特征列表；

组合输出子模块：对所述单信息流向量列表、所述基本特征列表和所述已知协议流量进行组合，得到所述单信息流描述元组列表。

优选地，所述时间片全流量描述矩阵的一个维度为单信息流在所述时间片内的序号，另一维度为单信息流描述元组内的维度集合，所述时间片全流量描述矩阵内的元素值表示横轴流量序号对应的流量在每一个维度上的取值。

优选地，所述原始流量分割子模块包括：

读取原始流量以及已知协议解析列表，将已知协议流量分装为第一单信息流；

在未知协议流量中，将具有相同<源地址，目的地址，源端口，目的端口，传输层协议>的连续数据包定义为未知协议流量的第二单信息流；

将所述第一单信息流和所述第二单信息流合并输出单信息流列表。

优选地，所述信息流向量化模型生成子模块包括：

初始化用于生成向量的深度神经网络机器学习模型，从每个单信息流的报文中取前N位，构建单信流训练数据进行模型训练。

根据本发明提供的一种网络应用层全流量向量化记录生成方法，包括：

已知协议解析步骤：解析流经结点的原始网络流量的协议，得到已知协议流量和未知协议流量，将所述已知协议流量解析为已知协议解析列表，所述已知协议解析列表中的每项为已知协议流量的单次通信的描述元组；

信息流综合解析步骤：根据已知协议解析列表和未知流量生成单信息流列表，并结合所述已知协议流量进行组合输出，得到单信息流描述元组列表，所述单信息流列表表示一个协议的单次通信所对应的数据包集合；

时间窗口流量描述步骤：对所述单信息流描述元组列表按照时间片进行划分，处理时间片内的单信息流描述元组的特征以及在每个时间片内排序单信息流描述元组，对每个时间片生成时间片全流量描述矩阵，得到时间片全流量描述矩阵列表；

全流量向量化模型生成步骤：采用历史的时间片全流量描述矩阵列表进行模型训练，得到全流量向量化模型；

全流量向量化步骤：使用所述全流量向量化模型处理所述时间片全流量描述矩阵列表，得到全流量向量列表及对应的记录文件，所述全流量向量列表中的每个全流量向量为一个时间片的全流量向量。

优选地，所述信息流综合解析步骤包括：

原始流量分割子步骤：获取所述原始流量和所述已知协议解析列表，得到单信息流列表；

信息流向量化模型生成子步骤：根据所述单信息流列表生成单信息流向量化模型；

信息流向量化子步骤：根据所述单信息流列表生成单信息流向量列表；

信息流基本特征抽取子步骤：根据所述单信息流列表进行基本特征抽取，得到基本特征列表；

组合输出子步骤：对所述单信息流向量列表、所述基本特征列表和所述已知协议流量进行组合，得到所述单信息流描述元组列表。

优选地，所述原始流量分割子步骤包括：

优选地，所述信息流向量化模型生成子步骤包括：

与现有技术相比，本发明具有如下的有益效果：

1)给出基于时间片的全流量描述矩阵，每个流量的描述中包：a)含业务经验信息；b)网络基本信息；c)基于深度神经网络自动提取的重要特征的压缩向量；d)流量间的顺序关系。既全面覆盖了一个时间片内的全流量信息，又压缩了表示空间；

2)给出一种应用层全量记录向量化方法，使用深度神经网络自动提取每个时间片的全流量信息中的重要特征，而后组成全量记录。既保留了全流量的重要信息，又压缩了记录存储空间。

3)这种同一的记录表示方法，可以广阔应用于长期记录和保存、呈现、应用层告警运算、相似性运算、安全入侵预算、价值挖掘等场景。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的结构示意图；

图2为已知协议解析模块示意图；

图3为信息流综合解析模块示意图；

图4为原始流量分割子模块示意图；

图5为时间窗口流量描述模块示意图；

图6为全流量向量化模块生成模块示意图；

图7为全流量向量化模块示意图；

图8为信息流向量化模型实施例示意图；

图9为全流量向量化模型实施例示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

一种网络应用层全流量向量化记录生成方法和系统，参考图1，所述包括：已知协议解析模块、信息流综合解析模块、时间窗口流量描述模块、全流量向量化模型生成模块、全流量向量化模块。

模块1，已知协议解析模块，输入为：流经结点的原始网络流量。输出为：已知协议解析列表，列表中的每个项为被识别协议的单次通信的描述元组。单次通信描述元组的示例：<协议名称，业务指标1，业务指标2…>。协议名称即协议名；业务指标比如：业务流水号，用户Id等。

模块2，信息流综合解析模块，用以对信息流进行综合处理，已提取全量向量化信息。分以下子模块：原始流量分割模块、信息流向量化模型生成模块、信息流向量化模块、信息流基本特征抽取模块、组合输出模块。

模块3，时间窗口流量描述模块，输入为：“信息流综合解析模块”的解析结果；输出为：“时间片全流量描述矩阵”列表，列表中的每一项“时间片全流量描述矩阵”描述一个特定时间窗口内的全流量情况。“时间片全流量描述矩阵”一个维度为某个“单流量”在该时间片内的序号，序号可以是但不限于“单流量”在该时间片内小到大编号；另一维度为“单流量描述信息”内的维度集合。矩阵内元素值表示横轴流量序号对应的流量在每一个维度上的取值。

模块4，全流量向量化模型生成模块，输入为：一定量的历史流量经过“已知协议解析模块”、“信息流综合解析模块”、“时间窗口流量描述模块”的输出结果。输出为：流量向量化模型(该模型输入为格式与“时间窗口流量描述模块”的输出数据格式相同，输出为向量列表，列表中的每一项为一个向量)。

模块5，全流量向量化模块，输入为：实时原始流量经流量经过“已知协议解析模块”、“信息流综合解析模块”、“时间窗口流量描述模块”的输出结果。输出为：流量向量列表及对应记录文件，每个列表项为一个时间片的全流量向量。

各模块运行方法如下：

已知协议解析模块，参考图2，运行方法如下：

步骤1.1：接受流经结点的原始网络流量；

步骤1.2：识别出流量中的已知协议流量，输出原始网络流量被过滤掉已知协议流量后的剩余部分；

步骤1.3：将步骤1.2中识别出的已知协议流量进行解析，生成解析后的流量列别，列表中的每个项为被识别协议的单次通信的描述元组。单次通信的描述元组示例：<协议名称，业务指标1，业务指标2…>。“协议名称”即可识别协议的名称；“业务指标”为从流量中提取中的经验性业务指标。

信息流综合解析模块，参考图3，运行方法如下：

原始流量分割模块(参考图4)：

步骤2.1.1：读取原始流量以及部分已知协议流量解析获得的“已知协议”解析结果列表；

步骤2.1.2：对于已被“已知协议解析模块”识别的流量，按照该模块的识别结果将数据包封装为“单信息流”；

步骤2.1.3：在未识别协议的流量中,将具有相同<源地址，目的地址，源端口，目的端口，传输层协议>的连续数据包定义为未知协议流量的“单信息流”。按照上述定义将未识别信息流分割为“单信息流”列表；

步骤2.1.4：将步骤2.1.2、步骤2.1.3的识别结果合并，输出“单信息流”列表。

信息流向量化模型生成模块：

步骤2.2.1：初始化可用于生成向量的深度神经网络机器学习模型，可以是但不限于“编码-解码”(Encoder-Decoder)结构的深度神经网络模型，此处以“编码-解码”为例；

步骤2.2.2：从每个单信息流报文中取前N位，构建单信流训练数据。N可以但不限于256、512等值，如N超过了单信息流的报文的长度，则取该报文的全文；

步骤2.2.3：将步骤2.2.2获得的训练数据用于训练步骤2.2.1的模型，获得训练后的“编码-解码”模型；

步骤2.2.4：取训练后的“编码-解码”模型的“编码”部分作为“信息流向量化模型”。该模型输入为单信息流报文的前N位，输出为模型“编码”部分的输出向量(向量长度由具体网络结构决定，可以但不限于是64、128等)；

信息流向量化模块：

步骤2.3.1：加载“信息流向量化模型生成模块”生成的模型；

步骤2.3.2：读取“原始流量分割模块”生成的“单信息流”列表；

步骤2.3.3：将步骤2.3.2读入的数据输入步骤1的模型，获得向量列表；

模块2.4，信息流基本特征抽取模块：

步骤2.4.1：读取“原始流量分割模块”生成的“单信息流”列表；

步骤2.4.2：从单信息流抽取基本网络指标，输出为<网络指标1，网络指标2…>。其中网络指标比如：相对开始时间、相对结束时间、相对响应时间、源IP、源MAC、源端口、目标IP、目标MAC、目标端口等；

组合输出模块

步骤2.5.1：读取“已知协议解析模块”的输出结果；

步骤2.5.2：读取“信息流基本特征抽取模块”的输出结果；

步骤2.5.3：合并步骤2.5.1、步骤2.5.2的内容，生成“单信息流描述元组”列表，列表中每项如：<已知协议名/未知，业务指标1，业务指标2…，网络指标1，网络指标2…，单信息流向量>。

时间窗口流量描述模块，参考图5，运行方法如下：

步骤3.1：读取实时流量经处理后，从“信息流综合解析模块”生成的“单信息流”描述元组列表；

步骤3.2：设置时间片长度为SPAN(SPAN可以是但不限于200ms、500ms、1000ms)，假设起始时间为T，则一个时间片的范围是[T,T+SPAN)；

步骤3.3；将“单信息流”的时间相关指标属于[T,T+SPAN)的“单信息流”划归该时间片。“时间相关指标”可以是但不限于“起始时间”、“结束时间”、“起始时间”与“结束时间”之间的任意时刻等；

步骤3.4：对被划归时间片[T,T+SPAN)的每个“单信息流”描述元组进行特征处理。处理方法包括但不限于：1)将“时间相关指标”转换为与T的相对值；2)将离散特征用数值表示；3)将数值特征正则化；4)将“单信息流向量”中的每一位分配一个独立的特征维度；

步骤3.5：处理被划归时间片[T,T+SPAN)的“单信息流描述元组”，排序元组，截取前E个元组，为每个元组分配序号。排序元组可以但不限于：使用“开始时间”、“响应时间”等时间相关特征由小到大排序。E可以是但不限于256，512、1024等；

步骤3.6：合并上述“步骤3.5”、“步骤3.6”的处理结果，构建“时间片全流量描述矩阵”；

步骤3.7：输出“时间片全流量描述矩阵”列表。

全流量向量化模型生成模块，参考图5，运行方法如下：

步骤4.1：读入一定时间历史流量经处理后，由“时间窗口流量描述模块”生成的“时间片全流量描述矩阵”列表；

步骤4.2：初始化可用于生成向量的深度神经网络机器学习模型，可以是但不限于“编码-解码”(Encoder-Decoder)结构的深度神经网络模型，此处以“编码-解码”为例；

步骤4.3：使用步骤4.1读入的数据训练步骤4.2的模型，获得训练后的“编码-解码”模型；

步骤4.4：取训练后的“编码-解码”模型的“编码”部分作为“全流向量化模型”。该模型输入为“时间片全流量描述矩阵”，输出为模型“编码”部分的输出向量(向量长度由具体网络结构决定，可以但不限于是128、256、512等)。

全流量向量化模块，参考图6，运行方法如下：

步骤5.1：加载“全流量向量化模型生成模块”生成的“全流量向量化模型”；

步骤5.2：由“时间窗口流量描述模块”生成的“时间片全流量描述矩阵”列表；

步骤5.3：将上述步骤5.2的数据逐单位放入步骤1的模型中处理，得到“全流量向量”列表；

步骤5.4：将<起始时间点，“全流量向量”>列表串行化并输出为记录文件。

实施举例1：

已知协议解析模块实施例：

步骤1.1：通过在交完机上的“端口镜像”采集业务的原始网络流量；

步骤1.2：识别出流两种的已知应用层协议流量，包括CRM系统、财务系统、物资申领系统的应用层协议；

步骤1.3：将步骤1.2中识别出的已知协议流量进行解析，生成解析后的流量列别，列表中的每个项为被识别协议的单次通信的描述元组。单次通信的描述元组示例：

({协议TAG：CRM_GET_CUSTOM_INFO，操作终端Id:23，获取时间:161765725312，客户Id:257}，数据包序列)

({协议TAG：CRM_IP_CALL，操作终端Id:7，客户Id:1879，拨打时间:1617957253785，数据包:…}，数据包序列)

({协议TAG：METERIAL_SUBMIT_APPLY，用户Id:EMP12，物资Id:25763，物资数量:5，数据包:…}，数据包序列)。

信息流综合解析模块实施例：

原始流量分割模块：

步骤2.1.2：对于已被“已知协议解析模块”识别的流量，按照该模块的识别结果将数据包封装为“单信息流”:

(CRM_GET_CUSTOM_INFO-i,连续数据包序列)

(CRM_IP_CALL-k,连续数据包序列)

(METERIAL_SUBMIT_APPLY-m,连续数据包序列)

(CRM_GET_CUSTOM_INFO-j,连续数据包序列)

(METERIAL_SUBMIT_APPLY-n,连续数据包序列)

(METERIAL_SUBMIT_APPLY-o,连续数据包序列)

…

步骤2.1.3：在未识别协议的流量中,将具有相同<源地址，目的地址，源端口，目的端口，传输层协议>的连续数据包定义为未知协议流量的“单信息流”，获得列表：

(<192.168.201.3,192.168.201.5,13327,8089,TCP>,连续数据包序列)

(<192.168.201.2,192.168.201.5,27186,8089,TCP>,连续数据包序列)

(<192.168.201.23,192.168.201.8,53321,8090,UDP>,连续数据包序列)

…

步骤2.1.4：将步骤2.1.2、步骤2.1.3的识别结果合并，输出“单信息流”列表:

(CRM_GET_CUSTOM_INFOi,连续数据包序列)

(CRM_IP_CALLk,连续数据包序列)

(METERIAL_SUBMIT_APPLYm,连续数据包序列)

(CRM_GET_CUSTOM_INFOj,连续数据包序列)

(METERIAL_SUBMIT_APPLYn,连续数据包序列)

(METERIAL_SUBMIT_APPLYo,连续数据包序列)

…

(<192.168.201.3,192.168.201.5,13327,8089,TCP>,连续数据包序列)

(<192.168.201.2,192.168.201.5,27186,8089,TCP>,连续数据包序列)

(<192.168.201.23,192.168.201.8,53321,8090,UDP>,连续数据包序列)

…

信息流向量化模型生成模块，参考图8：

步骤2.2.1：初始化可用于生成向量的深度神经网络机器学习模型，可以是但不限于“编码-解码”(Encoder-Decoder)结构的深度神经网络模型，此处以“编码-解码”为例，编码一侧为卷积、池化层的堆叠，解码一侧为反池化、反卷积层的堆叠；

步骤2.2.2：从每个单信息流报文中取前1024位，构建单信流训练数据；

步骤2.2.3：将步骤2.2.2获得的训练数据用于训练步骤1的模型，获得训练后的“编码-解码”模型；

步骤2.2.4：取训练后的“编码-解码”模型的“编码”部分作为“信息流向量化模型”。该模型输入为单信息流报文的前1024位，输出为模型“编码”部分的输出向量，长度为64；

信息流向量化模块：

步骤2.3.2：读取“原始流量分割模块”生成的“单信息流”列表，如：

(CRM_GET_CUSTOM_INFOrti,连续数据包序列)

(CRM_IP_CALLrtj,连续数据包序列)

(METERIAL_SUBMIT_APPLYrtk,连续数据包序列)

(CRM_GET_CUSTOM_INFOrtl,连续数据包序列)

(METERIAL_SUBMIT_APPLYrtm,连续数据包序列)

(METERIAL_SUBMIT_APPLYrtn,连续数据包序列)

…

(<192.168.201.6,192.168.201.5,33327,8089,TCP>,连续数据包序列)

(<192.168.201.9,192.168.201.5,28186,8089,TCP>,连续数据包序列)

(<192.168.201.2,192.168.201.8,53359,8090,UDP>,连续数据包序列)

…

步骤2.3.3：将步骤2.3.2读入的数据输入步骤2.3.1的模型，获得向量列表,如：

[0.23,0.81,0.96,0.01…]

[0.75,0.23,0.006,0.291…]

[0.0001,0.12,0.281,0.75…]

…

信息流基本特征抽取模块：

步骤2.4.1：读取“原始流量分割模块”生成的“单信息流”列表,如：

(CRM_GET_CUSTOM_INFOi,连续数据包序列)

(CRM_IP_CALLk,连续数据包序列)

(METERIAL_SUBMIT_APPLYm,连续数据包序列)

(CRM_GET_CUSTOM_INFOj,连续数据包序列)

(METERIAL_SUBMIT_APPLYn,连续数据包序列)

(METERIAL_SUBMIT_APPLYo,连续数据包序列)

…

(<192.168.201.3,192.168.201.5,13327,8089,TCP>,连续数据包序列)

(<192.168.201.2,192.168.201.5,27186,8089,TCP>,连续数据包序列)

(<192.168.201.23,192.168.201.8,53321,8090,UDP>,连续数据包序列)

…

步骤2.4.2：从单信息流抽取基本网络指标，如：

({开始时间：1617963386291，结束时间：1617963386899，响应时间：1617963386391，源IP：192.168.201.3，源端口：23539，目标IP：192.168.201.12，目标端口：8088，…},数据包序列)

({开始时间：1617957386291，结束时间：1617957386899，响应时间：1617957386389，源IP：192.168.201.23，源端口：53279，目标IP：192.168.201.12，目标端口：8088，…},数据包序列)

({开始时间：1618859386291，结束时间：1618859386899，响应时间：1618859386578，源IP：192.168.201.59，源端口：32357，目标IP：192.168.201.12，目标端口：8088，…},数据包序列)

…

组合输出模块：

步骤2.5.1：读取“已知协议解析模块”的输出结果：

({协议TAG：CRM_GET_CUSTOM_INFO，操作终端Id:23，获取时间:161765725312，客户Id:257，…},数据包序列)

({协议TAG：CRM_IP_CALL，操作终端Id:7，客户Id:1879，拨打时间:1617957253785，…},数据包序列)

({协议TAG：METERIAL_SUBMIT_APPLY，用户Id:EMP12，物资Id:25763，物资数量:5，…},数据包序列)

步骤2.5.2：读取“信息流基本特征抽取模块”的输出结果：

步骤2.5.3：合并步骤2.5.1、步骤2.5.2的内容，生成“单信息流描述元组”列表:

({协议TAG：CRM_GET_CUSTOM_INFO，操作终端Id:23，获取时间:161765725312，客户Id:257,开始时间：1617963386291，结束时间：1617963386899，响应时间：1617963386391，源IP：192.168.201.3，源端口：23539，目标IP：192.168.201.12，目标端口：8088，…},数据包序列)

({协议TAG：CRM_IP_CALL，操作终端Id:7，客户Id:1879，拨打时间:1617957253785，开始时间：1617957386291，结束时间：1617957386899，响应时间：1617957386389，源IP：192.168.201.23，源端口：53279，目标IP：192.168.201.12，目标端口：8088…},数据包序列)

({协议TAG：METERIAL_SUBMIT_APPLY，用户Id:EMP12，物资Id:25763，物资数量:5，开始时间：1618859386291，结束时间：1618859386899，响应时间：1618859386578，源IP：192.168.201.59，源端口：32357，目标IP：192.168.201.12，目标端口：8088,…},数据包序列)

…

时间窗口流量描述模块实施例：

步骤3.2：设置时间片长度为500ms，假设起始时间为T，则一个时间片的范围是[T,T+500)；

步骤3.3；将“单信息流”的时间相关指标属于[T,T+500)的“单信息流”划归该时间片。“时间相关指标”可以是但不限于“起始时间”、“结束时间”、“起始时间”与“结束时间”之间的任意时刻等；

步骤3.4：对被划归时间片[T,T+500)的每个“单信息流”描述元组进行特征处理。a)把开始时间、结束时间、响应时间分别减去T；b)对各种离散特征数值编码，如将局域网内的IP地址排序后编码为1，2，3…的正整数；c)采用最大最小正则化部分数值特征；d)把“单信息流”向量[0.23,0.81,0.96,0.01…]的每一维度变成一个独立特征，本实时例中展开为64个特着特征：{VEC-0：0.23，VEC-1：0.81，VEC-2：0.96，…，VEC-63:…}

步骤3.5：处理被划归时间片[T,T+500)的“单信息流描述元组”，排序元组，截取前512个元组，为每个元组分配序号。使用开始时间排序；

步骤3.6：合并上述“步骤3.5”、“步骤3.6”的处理结果，构建“时间片全流量描述矩阵”，这里从所有维度中最多取1024个填充率最高的维度作为每个向量的维度，构成矩阵如：

[{协议TAG：1，操作终端Id:23，获取时间:112，客户Id:257,开始时间：291，结束时间：899，响应时间：391，源IP：1，源端口：23539，目标IP：2，目标端口：8088，VEC-0：0.23，VEC-1：0.81，VEC-2：0.96，…，VEC-63:…，…}

{协议TAG：52，操作终端Id:7，客户Id:1879，拨打时间:785，开始时间：291，结束时间：699，响应时间：389，源IP：5，源端口：53279，目标IP：3，目标端口：8088，VEC-0：0.0001，VEC-1：0.12，VEC-2：0.281，…，VEC-63:…，…}

{协议TAG：37，用户Id:68，物资Id:25763，物资数量:5，开始时间：291，结束时间：699，响应时间：578，源IP：7，源端口：32357，目标IP：3，目标端口：8088，VEC-0：0.23，VEC-1：0.81，VEC-2：0.96，…，VEC-63:…，…}]

步骤3.7：输出“时间片全流量描述矩阵”列表。

全流量向量化模型生成模块实施例：

步骤4.1：读入一定时间历史流量经处理后，由“时间窗口流量描述模块”生成的“时间片全流量描述矩阵”列表:

[…，

{协议TAG：37，用户Id:68，物资Id:25763，物资数量:5，开始时间：291，结束时间：699，响应时间：578，源IP：7，源端口：32357，目标IP：3，目标端口：8088，VEC-0：0.23，VEC-1：0.81，VEC-2：0.96，…，VEC-63:…，…}]，

…]

步骤4.2：初始化可用于生成向量的深度神经网络机器学习模型，可以是但不限于“编码-解码”(Encoder-Decoder)结构的深度神经网络模型，此处以“编码-解码”为例；输入输出为卷积层、池化层、反池化层、反卷积层的堆叠，模型输入、输出均为512*1024的矩阵，中间隐层为256长度的向量；

步骤4.4：取训练后的“编码-解码”模型的“编码”部分作为“全流向量化模型”。该模型输入为“时间片全流量描述矩阵”，输出为模型“编码”部分的输出向量，这里取256位长；

全流量向量化模块实施例，参考图9：

步骤5.3：将上述步骤5.2的数据逐单位放入步骤5.1的模型中处理，得到“全流量向量”列表；

步骤5.4：将(起始时间点，“全流量向量”)列表串行化并输出为日志文件，形如：

(1617963386001，[0.27，-0.53，0.0，0.0，0.78，0.001…])

(1617963386501，[-0.932，0.0，0.72，0.0，0.859，0.0…])

(1617963387001，[0.23，-0.31，0.71，0.28，0.16，0.89…])

…

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims

1.一种网络应用层全流量向量化记录生成系统，其特征在于，包括：

2.根据权利要求1所述的网络应用层全流量向量化记录生成系统，其特征在于，所述信息流综合解析模块包括：

3.根据权利要求1所述的网络应用层全流量向量化记录生成系统，其特征在于，所述时间片全流量描述矩阵的一个维度为单信息流在所述时间片内的序号，另一维度为单信息流描述元组内的维度集合，所述时间片全流量描述矩阵内的元素值表示横轴流量序号对应的流量在每一个维度上的取值。

4.根据权利要求2所述的网络应用层全流量向量化记录生成系统，其特征在于，所述原始流量分割子模块包括：

5.根据权利要求2所述的网络应用层全流量向量化记录生成系统，其特征在于，所述信息流向量化模型生成子模块包括：

6.一种网络应用层全流量向量化记录生成方法，其特征在于，包括：

7.根据权利要求6所述的网络应用层全流量向量化记录生成方法，其特征在于，所述信息流综合解析步骤包括：

8.根据权利要求6所述的网络应用层全流量向量化记录生成方法，其特征在于，所述时间片全流量描述矩阵的一个维度为单信息流在所述时间片内的序号，另一维度为单信息流描述元组内的维度集合，所述时间片全流量描述矩阵内的元素值表示横轴流量序号对应的流量在每一个维度上的取值。

9.根据权利要求7所述的网络应用层全流量向量化记录生成方法，其特征在于，所述原始流量分割子步骤包括：

10.根据权利要求7所述的网络应用层全流量向量化记录生成方法，其特征在于，所述信息流向量化模型生成子步骤包括：