CN108055166A - 一种嵌套的应用层协议的状态机提取系统及其提取方法 - Google Patents

Abstract

本发明涉及一种嵌套的应用层协议的状态机提取系统，包括数据采集和输入模块、数据预处理模块、关键词提取模块、消息聚类模块、模型训练模块、状态译码模块。

Description

一种嵌套的应用层协议的状态机提取系统及其提取方法

技术领域

本发明涉及网络安全技术领域，更具体地，涉及一种嵌套的应用层协议的状态机提取系统及其提取方法。

背景技术

移动互联网在最近十年中飞速发展，智能手机已经成为人们访问互联网的主要工具。与此同时，对智能手机应用程序的流量进行深入的分析也日趋重要。智能手机众多APP访问网络的方式与个人电脑上的应用程序有显著差别。它们将自身的业务逻辑或其私有的应用层协议嵌套在HTTP之上，且大部分使用JSON、HTML、XML数据格式。这样做的原因主要有以下几点：1）HTTP简单易扩展；2）IOS和Android两大手机操作系统都提供了HTTP进行网络通信的库函数，且网络上有众多协助HTTP开发的开源项目；3）相比于直接在TCP/UDP上进行网络开发，在HTTP上进行网络开发可以免去许多对底层网络细节的管理；4）出于网络安全的考虑，大多数防火墙会关闭不常用的传输层端口，保留HTTP所使用的TCP 80端口，使用HTTP进行网络开发可以保证APP在不同的网络环境中都可以顺利连接互联网。这些嵌套在HTTP之上的APP应用层协议（下文简称APP协议）给流量分析及安全检测领域带来了新的挑战。移动互联网中的流量管理及安全防护有多重目标：实现对不同APP进行有差别的流量控制，对不同用户设定个性化的流量策略，检测隐私信息泄露和间谍软件，检测恶意软件的传播，检测僵尸网络等病毒的爆发，检测网络入侵行为等。为了实现这些目标，网络流量管理和安全设备不仅需要识别和区别不同APP所产生的流量，而且需要深入了解不同APP的流量的行为和语义。面对如此海量的APP，网络流量管理和安全设备迫切需要一种自动化的流量分析方法。另一方面，移动互联网中应用层协议嵌套的情形使得流量分析的难度急剧增加。现有的网络安全设备无法识别APP协议。如果不能了解流量的行为和语义，那么精确的流量识别和控制就无从谈起。

发明内容

本发明为解决现有技术的网络安全设备无法对APP协议进行识别而导致的无法对流量的行为和语义进行了解的技术缺陷，提供了一种嵌套的应用层协议的状态机提取系统

为实现上述目的，本发明采取的技术方案为：

一种嵌套的应用层协议的状态机提取系统，包括数据采集和输入模块、数据预处理模块、关键词提取模块、消息聚类模块、模型训练模块、状态译码模块；

其中数据采集和输入模块用于采集训练集的嵌套的应用层协议的数据流，得到具体的数据文件并将得到的数据文件传输至数据预处理模块；

数据预处理模块用于接收数据文件并对数据文件进行HTTP数据包的提取处理，然后将提取的HTTP数据包按照四元组（源IP地址、源端口、目的IP地址、目的端口）的形式组合成会话；数据预处理模块将形成的会话列表传输至关键词提取模块；

关键词提取模块用于接收数据预处理模块传输的会话列表，然后从会话列表中提取HTTP数据包的关键词；提取得到关键词后，保留会话列表中HTTP数据包的关键词，删除HTTP数据包中的非关键词字节；

消息聚类模块用于采用X-Means算法对关键词提取模块处理后的会话列表进行聚类，得到具体的参数传输至模型训练模块；

模型训练模块用于接收聚类模块传输的参数对模型进行初始化及训练；

测试集中嵌套应用层协议的数据流依次经过数据采集和输入模块、数据预处理模块、关键词提取模块、消息聚类模块的处理后得到具体的参数传输至训练好的模型，模型输出的观测值序列传输至状态译码模块，状态译码模块进行译码得到其对应的状态序列。

优选地，数据采集和输入模块采用wireshark软件进行嵌套的应用层协议的数据流的采集，得到pcap文件。

优选地，所述关键词提取模块从HTTP请求方法、URL中的各层目录、JSON格式数据中的key值、响应码所处位置提取关键词。

优选地，所述消息聚类模块在聚类时按照关键词的URL层级或JSON层级的不同赋予相应的权重。

优选地，所述模型训练模块使用前向-后向算法对模型进行训练。

优选地，所述状态译码模块使用Viterbi算法对模型输出的观测值序列进行译码。所述数据预处理模块定义一个Packet类来储存提取的HTTP数据包。

优选地，所述关键词提取模块定义一个PacketVector类储存删除非关键词字节后的HTTP数据包的信息。

优选地，所述模型训练模块训练的模型为一阶-二阶混合隐马尔科夫模型。

同时，本发明还提供了一种以上系统的状态机提取方法，其具体的方案如下：

（1）数据采集和输入模块采集训练集的嵌套的应用层协议的数据流，得到具体的数据文件并将得到的数据文件传输至数据预处理模块；

（2）数据预处理模块接收数据文件并对数据文件进行HTTP数据包的提取处理，然后将提取的HTTP数据包按照四元组（源IP地址、源端口、目的IP地址、目的端口）的形式组合成会话；数据预处理模块将形成的会话列表传输至关键词提取模块；

（3）关键词提取模块接收数据预处理模块传输的会话列表，然后从会话列表中提取HTTP数据包的关键词；提取得到关键词后，保留会话列表中HTTP数据包的关键词，删除HTTP数据包中的非关键词字节；

（4）消息聚类模块采用X-Means算法对关键词提取模块处理后的会话列表进行聚类，得到具体的参数传输至模型训练模块；

（5）模型训练模块接收聚类模块传输的参数对模型进行初始化及训练；

（6）测试集中嵌套应用层协议的数据流依次经过（1）~（5）的处理后得到具体的参数传输至训练好的模型，模型输出的观测值序列传输至状态译码模块，状态译码模块进行译码得到其对应的状态序列。

与现有技术相比，本发明的优点和有益效果是：

本发明提供的系统可以对嵌套的应用层协议进行分析，得到其状态序列，协助网络管理员理解嵌套协议流量的语义及其交互过程，而且可以跟踪协议状态，为后续实现精细的流量控制和网络安全防护奠定基础。

附图说明

图1为系统的结构示意图。

图2为系统各个模块的工作过程图。

图3为等待关键词提取的请求包的示意图。

图4为数据包的载荷示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合附图和具体实施例，进一步阐述本发明是如何实施的。

如图1所示，本发明提供的系统包括有包括数据采集和输入模块、数据预处理模块、关键词提取模块、消息聚类模块、模型训练模块、状态译码模块，各个模块的工作过程如图2所示。

下面对本发明提供的系统的各个模块进行具体的介绍。

一、数据采集和输入模块

运行待分析的APP协议的手机经电脑WiFi热点接入互联网，采用wireshark软件在电脑上对该手机的数据流进行采集，每次运行该APP后保存为一个pcap文件。

wireshark是一个网络数据包分析软件，它的功能是抓取网络数据包，并尽可能显示出最为详细的网络数据包资料。Wireshark使用WinPCAP作为接口，直接与网卡进行数据报文交换。

pcap是一种数据流格式，由两大部分组成。一个是文件头（GlobalHeader），它的长度为24字节，它定义了本文件的读取规则、最大储存长度限制等内容；另一个是数据包头和数据包数据，数据包头可以有多个，每个数据包头后面跟着数据包数据，它定义了数据包数据的长度、时间戳等信息。wireshark可以将采集到的数据流保存为这种格式的文件。

系统通过数据采集和输入模块的输入文件来读取这些数据。输入文件为一个input.csv文件，内容包含了作为训练集样本的pcap文件和作为测试集样本的pcap文件，由系统的使用者配置。CSV类型文件由任意数目的记录组成，记录间以某种换行符分隔，每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。

具体的输入文件格式如下例所示：

SAMPLE,pcap_file\\1.pcap

SAMPLE,pcap_file\\2.pcap

SAMPLE,pcap_file\\3.pcap

SAMPLE,pcap_file\\4.pcap

PREDICT,pcap_file\\5.pcap

输入文件包含两部分，行首为“SAMPLE”的是配置作为训练集样本的pcap文件路径，行首为“PREDICT”的是配置作为测试集样本的pcap文件路径。

二、数据预处理模块

数据预处理模块用于接收数据文件并对数据文件进行HTTP数据包的提取处理，然后将提取的HTTP数据包按照四元组（源IP地址、源端口、目的IP地址、目的端口）的形式组合成会话，一个会话可以表示成一个观测序列；数据预处理模块将形成的会话列表传输至关键词提取模块。

数据预处理模块定义了一个Packet类来储存HTTP数据包。Packet类的主要成员分别对应于HTTP数据包的各个字段，例如src_ip、src_port对应源IP地址和源端口，dst_ip、dst_port对应目的IP和目的端口，request_URL对应URL，time_stamp对应时间戳等。

一个会话用一个成员为Packet类型数据的列表表示，每个Packet类型数据储存会话的一个HTTP数据包，然后将这些列表送入关键词提取模块。

三、关键词提取模块

关键词提取模块接收数据预处理模块传输的会话列表，然后从会话列表中提取HTTP数据包的关键词；提取得到关键词后，使用关键词对HTTP数据包进行表示；其中，关键词提取模块从以下地方提取数据包的关键词：HTTP请求方法、URL中的各层目录、JSON格式数据中的key值、响应码等。提取完关键词后，一个数据包可以用一个向量表示，其中每一维代表一个关键词，所有的向量组合HMM模型的观测值空间V。按照会话所属pcap文件属于训练集还是测试集，将会话添加到对应的训练集TrainingSet或测试集TestSet中，供后续模块使用。

关键词提取模块定义了一个PacketVector类来储存使用关键词来表示自身的HTTP数据包的相关信息。PacketVector类的主要成员中，json_key是一个列表，储存提取后的数据包的JSON关键词；url也是一个列表，储存提取后的数据包的各层URL。

在提取关键词的过程中，关键词提取模块同时会保留URL和JSON的层级信息，以便在聚类模块给不同关键词设置不同权重时调用。URL的层级信息储存在PacketVector类的成员url_level列表中，JSON的层级信息储存在成员json_klevel列表中。

URL层级是以URL中的“/”和“//”来划分的，以“http://sdcs.sysu.edu.cn/research/platform”为例，它提取后的URL关键词为[‘http:’, ‘sdcs.sysu.edu.cn’,‘research’, ‘platform’]，对应的url_level为[0,1,2,3]，例如‘rearch’对应的URL层级为2，代表它是第二层级的URL。

图3为一个等待关键词提取的请求包，它经过关键词提取模块提取后，表示为[‘GET’, ‘http:’, ‘isub.snssdk.com’, ‘2’, ‘user’, ‘info’, '']，最后一个元素''为空表示它的响应码为空，因为请求包的响应码字段为空，它的url_level为[0,1,2,3,4]。

图4为某个数据包的载荷，它提取后的JSON关键词为[‘data’, ‘count’, ‘tip’,‘message’]，对应的json_url为[0,1,1,0]，例如‘tip’的JSON层级为1，代表它是第一层级的JSON关键词。

四、消息聚类模块

消息聚类模块用于采用X-Means算法对关键词提取模块处理后的会话列表进行聚类，得到具体的参数传输至模型训练模块。X-Means算法是著名的K-Means聚类方法的拓展。K-Means算法广泛应用于数据挖掘，信号处理等研究领域。K-Means算法可以将n个点划分到k个聚类中，使得每个点都属于离它最近的均值（即聚类中心）所对应的类。K-Means算法需要事先给定聚类的数量作为算法的输入，X-Means对此进行了拓展，可以根据观测值的分布特点自动决定聚类的数量。

为了实现更精确的聚类，消息聚类模块还对不同的关键词赋予不同的权重。主要的权重有URL层级权重和JSON层级权重两种。HTTP的URL中较前的目录名通常是一个常量，而处在URL最后的文件名通常是一个变量，目录名对数据包的语义影响远大于文件名。通过设置URL层级权重可以给予它们不同的权重，可以给目录名分配较大的权重（例如2），给文件名分配较小的权重（例如1）。

五、模型训练模块

本系统使用的模型是一阶-二阶混合隐马尔科夫（HMM）模型。模型训练模块接收聚类模块传来的参数对模型进行初始化，然后利用使用前向-后向算法对模型进行训练。

模型的概率参数集λ包含三组参数：状态的初始分布π，状态之间的跳转概率A，观测值的出现概率B。λ中π和A的数值可以随机地进行初始化，在模型训练过程中会自动修正λ的值，使λ达到最优。而B的初始值会对最后的模型效果造成较大的影响，根据模型的物理意义对B进行初始化，有利于使λ达到全局最优。模型训练模块将观测值B设置为观测值到聚类中心距离的倒数，将状态数m设为聚类模块得到的聚类数目。

初始化模型参数后，模型训练模块使用前向-后向算法对模型进行训练。模型训练主要包含以下几个步骤：

1）计算前向变量α和后向变量β；

2）利用α和β计算辅助变量γ和ξ；

3）通过以上两个辅助变量，修正λ并进行归一化；

4）按上述步骤对λ进行多次迭代修正后，λ将收敛到最优解。

模型训练好后，就可以用于协助网络管理员进行流量分析与管理，协助协议状态机分析和协议状态跟踪。

6）状态译码模块

测试集中嵌套应用层协议的数据流依次经过数据采集和输入模块、数据预处理模块、关键词提取模块、消息聚类模块的处理后得到具体的参数传输至训练好的模型，模型输出的观测值序列传输至状态译码模块，状态译码模块使用Viterbi算法进行译码得到其对应的状态序列。从而能精确跟踪协议的交互过程，实时了解用户当前所处的交互状态，为后续进行精确的流量控制奠定基础。

协议交互过程跟踪并不容易实现，虽然APP所产生的数据报文是可以直接观测，但是APP当前所处的交互状态是不能直接观测的。同一个状态可以产生多种不同的数据报文，不同的状态也有可能产生一样的报文。为了解决上述问题，状态译码模块使用Viterbi算法进行译码，在最大似然概率的意义上进行译码，定位当前的数据报文所对应的协议交互状态。状态译码模块主要包含以下几个步骤：

1）迭代计算辅助变量δ和ψ；

2）通过回溯状态路径得到一个最佳的状态序列，从而可以得知每一个观测值所对应的状态。

最后说明，以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种嵌套的应用层协议的状态机提取系统，其特征在于：包括数据采集和输入模块、数据预处理模块、关键词提取模块、消息聚类模块、模型训练模块、状态译码模块；

其中数据采集和输入模块用于采集训练集的嵌套的应用层协议的数据流，得到具体的数据文件并将得到的数据文件传输至数据预处理模块；

数据预处理模块用于接收数据文件并对数据文件进行HTTP数据包的提取处理，然后将提取的HTTP数据包按照四元组（源IP地址、源端口、目的IP地址、目的端口）的形式组合成会话；数据预处理模块将形成的会话列表传输至关键词提取模块；

关键词提取模块用于接收数据预处理模块传输的会话列表，然后从会话列表中提取HTTP数据包的关键词；提取得到关键词后，保留会话列表中HTTP数据包的关键词，删除HTTP数据包中的非关键词字节；

消息聚类模块用于采用X-Means算法对关键词提取模块处理后的会话列表进行聚类，得到具体的参数传输至模型训练模块；

模型训练模块用于接收聚类模块传输的参数对模型进行初始化及训练；

测试集中嵌套应用层协议的数据流依次经过数据采集和输入模块、数据预处理模块、关键词提取模块、消息聚类模块的处理后得到具体的参数传输至训练好的模型，模型输出的观测值序列传输至状态译码模块，状态译码模块进行译码得到其对应的状态序列。

2.根据权利要求1所述的嵌套的应用层协议的状态机提取系统，其特征在于：数据采集和输入模块采用wireshark软件进行嵌套的应用层协议的数据流的采集，得到pcap文件。

3.根据权利要求1所述的嵌套的应用层协议的状态机提取系统，其特征在于：所述关键词提取模块从HTTP请求方法、URL中的各层目录、JSON格式数据中的key值、响应码所处位置提取关键词。

4.根据权利要求1所述的嵌套的应用层协议的状态机提取系统，其特征在于：所述消息聚类模块在聚类时按照关键词的URL层级或JSON层级的不同赋予相应的权重。

5.根据权利要求1所述的嵌套的应用层协议的状态机提取系统，其特征在于：所述模型训练模块使用前向-后向算法对模型进行训练。

6.根据权利要求1所述的嵌套的应用层协议的状态机提取系统，其特征在于：所述状态译码模块使用Viterbi算法对模型输出的观测值序列进行译码。

7.根据权利要求1~6任一项所述的嵌套的应用层协议的状态机提取系统，其特征在于：所述数据预处理模块定义一个Packet类来储存提取的HTTP数据包。

8.根据权利要求1~6任一项所述的嵌套的应用层协议的状态机提取系统，其特征在于：所述关键词提取模块定义一个PacketVector类储存删除非关键词字节后的HTTP数据包的信息。

9.根据权利要求1~6任一项所述的嵌套的应用层协议的状态机提取系统，其特征在于：所述模型训练模块训练的模型为一阶-二阶混合隐马尔科夫模型。

10.一种根据权利要求1~9任一项状态机提取系统的提取方法，其特征在于：包括以下步骤：

（1）数据采集和输入模块采集训练集的嵌套的应用层协议的数据流，得到具体的数据文件并将得到的数据文件传输至数据预处理模块；

（2）数据预处理模块接收数据文件并对数据文件进行HTTP数据包的提取处理，然后将提取的HTTP数据包按照四元组（源IP地址、源端口、目的IP地址、目的端口）的形式组合成会话；数据预处理模块将形成的会话列表传输至关键词提取模块；

（3）关键词提取模块接收数据预处理模块传输的会话列表，然后从会话列表中提取HTTP数据包的关键词；提取得到关键词后，保留会话列表中HTTP数据包的关键词，删除HTTP数据包中的非关键词字节；

（4）消息聚类模块采用X-Means算法对关键词提取模块处理后的会话列表进行聚类，得到具体的参数传输至模型训练模块；

（5）模型训练模块接收聚类模块传输的参数对模型进行初始化及训练；

（6）测试集中嵌套应用层协议的数据流依次经过（1）~（5）的处理后得到具体的参数传输至训练好的模型，模型输出的观测值序列传输至状态译码模块，状态译码模块进行译码得到其对应的状态序列。