CN106936667A - 一种基于应用程序流量分布式分析的主机实时识别方法 - Google Patents

Abstract

本发明提供一种基于应用程序流量分布式分析的主机实时识别方法。本发明的方法包括：S1，分布式流量报文分析与处理；S2，设备指纹的生成；S3，主机的实时识别。本发明利用分布式计算平台，针对高速网络环境通过对主机流量的分析，识别并提取主机操作系统和软件信息，生成设备指纹，最终借助机器学习算法实现对主机的实时识别。

Description

一种基于应用程序流量分布式分析的主机实时识别方法

技术领域：

本发明涉及一种基于应用程序流量分布式分析的主机实时识别方法，属于主机识别技术领域。

背景技术：

随着网络技术的快速发展，互联网迅速地融入到人们生活的方方面面。然而，互联网在便捷人们生活的同时，也成为了网络犯罪的温床，各类网络犯罪事件频繁发生。网络监管作为维护网络安全的一道防线，承担了对各类网络犯罪事件监控和管制的任务，并通过对网络犯罪主体的惩处维护网络的安全。主机识别作为网络监管的一个关键环节，在其中发挥着至关重要的作用。本专利将主机在一段时间内的持续网络访问定义为主机的一次网络会话，主机IP地址的变化或者网络访问的中断标志着会话结束，主机识别的目标是通过抽取会话期内的流量特征数据，实现对不同会话的关联识别。

由于主机接入互联网的前提条件是拥有IP地址和MAC地址，依据网络流量报文中的IP地址或MAC地址识别主机是最为直观的方法，然而这类地址并非固定不变，既可以动态申请，也可以人为设定。因此，基于这种强标识进行主机识别的方法难以在实际应用中取得较好的效果。为了应对此类问题，基于网络流量分析的主机识别技术成为一个重要的研究方向。

基于网络流量分析的主机识别技术主要是指通过对设备信息以及主机运行环境信息的收集，实现对主机的识别。其中，收集的有效信息包含设备的硬件信息、操作系统信息、软件信息，以及应用协议的参数信息等。现有的基于网络流量的主机识别技术分别在物理层、链路层、网络层、传输层和应用层进行研究，主要可以分为以下两类：基于物理信号的特征识别技术和基于协议栈的特征识别技术。前者利用设备的细微差异区分不同的主机，而后者则是借助协议栈的相关参数识别主机的操作系统，并进而用于对主机的识别。但是，基于物理信号的主机识别技术能力较弱，无法在大规模网络中取得较好的识别率，而基于协议栈参数的主机识别技术的识别粒度不足，不能直接实现对主机的识别。同时，面对高速网络环境，传统的集中式程序无法提供实时的计算能力，也不能保障系统的可靠性。

发明内容

本发明的目的是针对现有技术中存在的问题，提出一种基于应用程序流量分布式分析的主机实时识别方法，利用分布式计算平台，针对高速网络环境通过对主机流量的分析，识别并提取主机操作系统和软件信息，生成设备指纹，最终借助机器学习算法实现对主机的实时识别。

上述的目的通过以下技术方案实现：

一种基于应用程序流量分布式分析的主机实时识别方法，该方法包括以下步骤：

S1，分布式流量报文分析与处理；

S2，设备指纹的生成；

S3，主机的实时识别。

进一步地，步骤S1的具体过程包括：

S101，从数据源中读取流量报文，并以元组的形式源源不断地传递至分布式报文分析与处理框架内部；

S102，对流量报文头部进行解析，记录报文的时间戳、MAC地址、IP地址、传输层协议类型、端口号、有效载荷长度及其偏移值，并过滤无关协议的报文；

S103，对流量报文进行深度包检测，并识别其应用协议类型；

S104，对流量报文进行应用程序识别。

其中，所述步骤S103，对流量报文进行深度包检测，深度包检测包含规则匹配引擎和协议识别规则两部分。

所述步骤S104，对流量报文进行应用程序识别，主要分为两大类：第一类，协议本身即可标识软件，通过对应用协议的识别即可识别应用程序；第二类，大量软件共用一种应用层传输协议，通过对协议字段值的匹配更进一步地去识别应用程序。在完成了应用程序的识别之后，抽取设备特征数据并存入数据库中，设备特征数据包括软件名称、软件版本号、操作系统类型、设备类型、用户ID以及用户名。为实现应用程序识别的功能，设计了两种数据结构及应用程序识别算法，而在扩展性方面，通过配置文件和动态链接库可以轻易实现对新的应用程序的识别。

其中，所述步骤S2，设备指纹的生成是以小时为单位对特征数据集进行划分，组合软件名称、软件版本号、操作系统类型生成设备指纹，设备指纹即为<操作系统、软件1、软件1+版本1，…>的n元组。针对设备指纹的取值，具体包含布尔型设备指纹和数值型设备指纹两大类。

其中，所述步骤S3，在第一个时间阶段，针对每个主机，利用朴素贝叶斯分类器，对步骤S2处理过后的设备指纹数据集进行机器学习，生成设备指纹的识别模型，而在第二个时间阶段，利用生成的预测模型对步骤S2处理过后的设备指纹进行预测，实时地识别主机。

有益效果：

与现有技术相比，本发明具有以下有益效果：

1、本发明采用分布式计算平台，可有效提升对流量报文数据的处理能力，能满足对高速网络环境下的主机识别的需求，并支持对设备指纹的实时采集与分类，实现对主机的实时识别。同时，平台的高容错性也保障了系统能够持续稳定的运行。

2、本发明具有很好的可扩展性，体现在协议识别模块和应用程序识别模块两个方面。对于协议识别模块，编写应用协议识别规则即可添加新型应用协议；对于应用程序识别模块，其配置文件与动态链接库都能轻易实现对新型应用程序的识别和特征抽取。

3、本发明所采用的基于主机运行环境的设备指纹具有很好的隐蔽性，无需侵入主机设备，仅通过对主机生成流量的分析即可完成对主机的识别。

附图说明

图1为本发明实施例中基于应用程序流量分布式分析的主机实时识别方法的系统框架图；

图2为本发明实施例中基于应用程序流量分布式分析的主机实时识别方法的分布式流量报文处理框架图；

图3为本发明实施例中基于应用程序流量分布式分析的主机实时识别方法的协议识别流程图。

具体实施方式

下面结合具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

参见图1所示，本发明实施例中提供一种基于分布式计算平台设计主机实时识别方法。首先基于分布式计算平台Storm从分布式消息队列中读取流量报文，完成对流量报文的分析与处理，并抽取特征数据将其存入分布式数据库，然后通过组合设备的特征数据生成设备指纹，并基于Spark Streaming技术完成对设备指纹的分类，实现对主机的实时识别。方法的具体步骤如下：

S1，分布式流量报文分析与处理。在分布式计算平台Storm上，使用流量分析技术解析流量报文，在此基础上实现对主机运行环境的识别，并抽取主机的设备特征信息，具体包括主机的操作系统特征数据和软件特征数据。分布式流量报文处理框架如图2所示。步骤S1的具体过程包括：

S101，数据输入模块负责流量报文输入。数据输入模块分布在每一台工作机器上，在分布式流量报文分析与处理框架中，负责将数据源Kafka中的流量报文数据以<key,value>元组的形式源源不断地将流量报文传递至处理框架的报文解析模块。

S102，报文解析模块负责接收报文输入模块发送过来的元组，从其中恢复出流量报文的数据内容，并完成对报文头部信息的解析，记录报文的时间戳、MAC地址、IP地址、传输层协议类型、端口号、有效载荷长度及其偏移值。在此过程中，设置过滤规则过滤与主机特征数据无关的流量报文，如过滤ARP协议的流量数据，以提高处理效率。

S103，协议识别模块接着分析报文内容，利用深度包检测技术，实现对其应用协议类型的识别。协议识别模块主要包含规则匹配引擎和协议识别规则两个方面。

Snort作为一个成熟的入侵检测系统，其功能复杂而又繁多。规则匹配引擎是在Snort的核心组件规则匹配引擎的基础之上，加入多线程支持，设计与封装API接口并最终完成与分布式计算平台的衔接。而协议识别规则的编写则是在参考协议文档的基础之上，提取并总结典型协议的特征信息，参考Snort异常检测规则的编写规范，最终编写完成协议的识别规则。

协议识别的流程如图3所示，首先，规则匹配引擎按照给定的协议识别规则生成规则树，然后再针对流量报文数据进行深度包检测，并在此过程中抽取特征数据与规则树进行匹配。当发生规则匹配时，表明该流量报文被识别为某一类型的应用协议。

S104，应用程序识别的基础是协议的识别，针对不同的应用协议，应用程序识别主要分为两大类：一类是协议本身即可标识软件，如OICQ协议即为即时通讯软件QQ的数据传输协议；另一类则是大量软件共用一种应用层传输协议，如HTTP协议是绝大多数软件数据传输的载体，不同软件的数据则是通过设置不同的标志位进行区分。如HTTP协议中请求报文的HOST字段代表的是服务器地址，一般为域名与端口的组合，不同公司的软件产品的服务器地址不会相同，而同一公司的不同软件即使是共用同一个服务器地址，也可以通过HTTP请求字段的参数加以区分。因此HTTP协议的HOST字段与请求参数组合可用于标识不同的软件。以下定义软件识别算法。

首先定义算法使用的数据结构。数据结构分为两个层次：在协议层，其结构是一棵搜索二叉树，每一种应用协议对应于该二叉树中的一个节点，通过赋予应用协议不同的权重，使其均衡的分布于整个二叉树中，同时尽可能减少对二叉树遍历的访问代价，如HTTP作为绝大多数应用软件的数据传输协议，在整个网络中HTTP报文所占比重较大，那么就将HTTP作为二叉树的根节点最为合适；针对HTTP协议的特殊性，设计HTTP软件识别层识别基于HTTP协议进行数据传输的软件，其数据结构是基于Trie树，并以二叉链表的孩子兄弟链存储方式存储HOST字段。最后，基于对应用程序流量报文的观察与分析，总结并生成应用程序识别规则，表1展示了部分应用程序的识别规则。

在应用程序的识别过程中，对应于使用的数据结构，其过程也分为两个阶段：第一个阶段匹配流量报文的应用协议类型，如果流量报文所使用的应用协议不支持其他软件，则已经完成对该应用程序的识别；第二个阶段则是针对HTTP应用协议的流量报文，利用Host字段和请求参数去完成更深层次的匹配。两个阶段中任何一个匹配发生失败，都表示该流量报文无法被识别为某种应用程序。

表1.部分应用程序识别规则表

在扩展性方面，从两个方面保证了应用程序识别模块的可扩展性：配置文件和动态链接库。一方面，针对简单的应用程序分析流程，系统接受配置文件作为输入，用户可以通过扩展配置文件的方式丰富应用程序的识别种类；另一方面，针对复杂的应用程序分析流程，系统也接受动态链接库作为输入，用户负责制定应用程序识别和特征抽取的流程，并通过动态链接的方式将其嵌入系统之中。

应用程序识别模块的最后一个任务是特征提取。在软件识别的基础之上，提取软件的相关信息，具体包括软件名称、软件版本号、操作系统类型、设备类型、用户ID以及用户名，这些数据将被用于设备指纹的生成。应用程序识别模块最终将这些特征数据存入分布式数据库HBase中。

S2，设备指纹的生成。当设备的特征信息被抽取并存储到分布式数据库HBase后，组合同一会话期内的特征数据生成特征向量，并将其作为设备的指纹。具体如下：

本发明以小时(可调整)为单位对特征数据集进行划分，组合软件名称、软件版本号、操作系统类型生成设备指纹，同一时间段内的同一设备的所有设备信息将被用于生成一条设备指纹。当设备全天候处于开启状态，并且设备上的软件也在不断地利用网络进行数据的传输，则此设备在这一天中将会生成24条设备指纹。假定软件名称的输入空间为S＝{S₁,S₂,...,S_N}，而第i种软件版本的输入空间为其中C_K为第i种软件的版本总数，而操作系统类型则为O，那么设备指纹的特征向量即为：

针对主机是否安装了某种软件，以及设备在某段时间范围内使用某种软件的频次，可以将设备指纹分为两大类：布尔型设备指纹和数值型设备指纹。在生成数值型设备指纹时，需要设定一个计数间隔INTERVAL，在同一个计数间隔内的多次访问只记一次，该参数消除了在软件操作的瞬间大量突发流量对实验结果的影响。相较于布尔型设备指纹，数值型设备指纹加入了用户的主机的操作习惯及偏好程度，因此其识别效果更佳。

S3，主机的实时识别。主机识别的关键技术即为设备指纹的关联匹配。利用分布式实时计算平台Spark Streaming的实时处理能力接收设备指纹的特征向量，并将其转化为分布式内存数据集，最后利用朴素贝叶斯算法完成对新生成的设备指纹与历史设备指纹的关联匹配。设备指纹的分类结果即为识别的主机，并依据设备的最新地址信息(如IP地址或MAC地址)实现对设备的追踪。而当发现主机的设备指纹发生变化时，可以及时更新设备指纹库。

假设主机A在T1时间段内出现服务提供商SP1所服务的范围内，通过对主机A所生成网络流量的分析、应用协议识别、应用程序识别、设备特征数据抽取，再通过组合设备的特征数据生成设备指纹，假设生成的设备指纹为FP1；假设主机A在T2时间段内又出现在服务提供商SP2所服务的范围内，通过对该主机所生成网络流量的一系列处理之后，所生成的设备指纹为FP2；假设主机在T1和T2这两个时间段内的设备环境没有发生较大变化，那么FP1与FP2应基本一致或变化不大，在允许的偏差内，步骤S3会在T2时间段内实时识别该主机即为主机A，也即实现了主机在时间段T1和T2两个时间段内会话的关联。

以上具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于应用程序流量分布式分析的主机实时识别方法，其特征在于：所述方法包括以下步骤：

S1，分布式流量报文分析与处理；

S2，设备指纹的生成；

S3，主机的实时识别。

2.如权利要求1所述的基于应用程序流量分布式分析的主机实时识别方法，其特征在于：所述步骤S1的具体过程包括：

S101，从数据源中读取流量报文，并以元组的形式源源不断地传递至分布式报文分析与处理框架内部；

S102，对流量报文头部进行解析，记录报文的时间戳、MAC地址、IP地址、传输层协议类型、端口号、有效载荷长度及其偏移值，并过滤无关协议的报文；

S103，对流量报文进行深度包检测，并识别其应用协议类型；

S104，对流量报文进行应用程序识别。

3.如权利要求2所述的基于应用程序流量分布式分析的主机实时识别方法，其特征在于：所述步骤S103，对流量报文进行深度包检测，深度包检测包含规则匹配引擎和协议识别规则两部分。

4.如权利要求2所述的基于应用程序流量分布式分析的主机实时识别方法，其特征在于：所述步骤S104，对流量报文进行应用程序识别，分为两大类：第一类，协议本身即可标识软件，通过对应用协议的识别即可识别应用程序；第二类，大量软件共用一种应用层传输协议，通过对应用协议字段值的匹配更进一步地去识别应用程序，在完成了应用程序的识别之后，抽取设备特征数据并存入数据库中，所述的设备特征数据包括软件名称、软件版本号、操作系统类型、设备类型、用户ID以及用户名，为实现应用程序识别的功能，设计了两种数据结构及应用程序识别算法，而在扩展性方面，通过配置文件和动态链接库可以实现对新的应用程序的识别。

5.如权利要求1所述的基于应用程序流量分布式分析的主机实时识别方法，其特征在于：所述步骤S2，设备指纹的生成是以小时为单位对特征数据集进行划分，组合软件名称、软件版本号、操作系统类型生成设备指纹，设备指纹即为：操作系统、软件1、软件1+版本1，…的n元组，针对设备指纹的取值，具体包含布尔型设备指纹和数值型设备指纹两大类。

6.如权利要求1所述的基于应用程序流量分布式分析的主机实时识别方法，其特征在于：所述步骤S3，在第一个时间阶段，针对每个主机，利用朴素贝叶斯分类器，对步骤S2处理过后的设备指纹数据集进行机器学习，生成设备指纹的识别模型，而在第二个时间阶段，利用生成的预测模型对步骤S2处理过后的设备指纹进行预测，实时地识别主机。