CN110674010A - 基于会话长度概率分布的智能设备应用程序识别方法 - Google Patents

Abstract

本发明提出了一种基于TCP会话长度概率分布和随机森林算法的智能设备应用程序识别方法，用于实现在训练集和测试集采集自不同设备的情况下识别准确率的提升。实现步骤为：获取应用程序App_j在智能设备S_i上产生的流量数据集合T_ij；对流量数据T_ij进行筛选；获取会话样本集集合G_ij；获取训练集集合V^train和测试集集合V^test；构建分类模型集合M；获取智能设备应用的识别结果。本发明通过计算完整的TCP会话长度概率分布，并以此为特征，对智能设备应用程序进行识别，用于解决现有技术中存在的跨智能设备应用程序识别准确率低下的问题。

Description

基于会话长度概率分布的智能设备应用程序识别方法

技术领域

本发明属于无线通信技术领域，涉及一种智能设备应用程序识别方法，具体涉及一种基于会话长度概率分布和随机森林算法的智能设备应用程序识别方法。

背景技术

应用程序识别，是通过提取应用程序独特的特征来对目标设备上存在的应用程序种类进行识别的一种技术。该技术可分为：1)个人电脑中的应用识别；2)网站识别；3)智能设备中的应用识别。近年来，随着移动智能设备在世界范围内的逐渐普及，移动智能设备上的应用程序信息开始具备越来越高的价值。因此，移动智能设备中的应用识别研究开始得到更多的关注。

连接进入无线局域网的移动智能设备，其同远程服务器的通信都将通过架设该无线局域网的路由器。因此，获取移动智能设备的流量数据，并从中提取出不同应用程序的特征，便成为了一种移动智能设备应用程序识别的可行方法。

目前对于智能设备应用识别方法的研究，主要基于对智能设备产生的数据包的分析。其中有两种分析方法的使用较为广泛，一种是对数据包有效载荷的内容进行分析，一种是对数据包长度等有效载荷之外的属性进行分析。前一种方法仅能对非加密的流量数据进行分析，无法应对当下越来越多的应用程序开始对流量进行加密保护的趋势，因此，后一种方法得到了更多研究人员的关注。目前，对数据包有效载荷之外的属性进行分析的方法大多包含以下三个步骤：1)智能设备收发的无线流量数据获取与预处理；2)特征提取；3)机器学习分类器构建。在数据获取与预处理步骤中，需要分别获取不同应用程序的流量数据，并将数据进行初步的筛选与分组；在特征提取步骤中，需要从每组数据中提取具有数据来源应用程序特点的特征；在分类器构建步骤中，需要将从特征提取步骤中得到特征输入到分类器中进行训练，并得到分类模型。目前常用的分类算法主要包括贝叶斯分类、支持向量机和随机森林等。

2017年，牛津大学的Vincent F.Taylor等人在IEEE Transactions onInformation Forensics&Security期刊上发表了论文“基于加密流量分析的健壮性智能手机应用程序识别”，提出了以应用程序产生的流量数据包大小的各种统计数值为特征来识别加密流量来源应用程序的方法。该方法由数据收集及预处理部分、特征提取部分和机器学习部分组成。其中数据收集及预处理部分负责收集数据并按照协议类型进行初步的筛选；特征提取部分负责数据包的分组，并将数据包中需要用到的属性数值处理成特征向量的形式；机器学习部分负责将特征向量输入机器学习分类算法进行训练，并获得相应的分类模型。该方法的主要步骤是：1)搭建WPA2无线网络，并使移动设备同该网络进行连接；2)数据预处理部分筛选收集到的流量数据，仅留下加密的TCP协议数据包；3)特征提取部分以大于某一阈值的接收时间间隔为界限，将筛选得到的所有TCP协议数据包划分为若干个“burst”组，又将每个“burst”组中同一对IP地址进行通信而产生的数据包分为若干“flow”组；4)特征提取部分对每一个“flow”组中的数据包进行包长度的提取，计算组中所有包长度的平均值、标准差、方差等统计数值，将所有数值按一定顺序组成特征向量，将所有特征向量按照一定比例分为训练集和测试集，并再测试集中的每个特征向量上标注代表其产生源头应用程序的标签；5)机器学习部分将标注了标签的训练集作为分类算法的输入，训练机器学习模型；6)将测试集输入机器学习模型，得到测试集中每个特征向量的标签。该方法的不足之处是：只有在训练集和测试集中的特征向量来自于同一台移动设备时，识别结果才能具有较高的准确率，当使用来自一台设备的训练集识别来自另一台设备的测试集时，识别准确率会大幅度降低。

发明内容

本发明的目的为克服上述现有技术的不足之处，提出一种基于TCP会话长度概率分布和随机森林算法的智能设备应用程序识别方法，用于解决现有技术中存在的跨智能设备应用程序识别准确率低下的问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取应用程序App_j在智能设备S_i上产生的流量数据集合T_ij：

将安装有应用程序App_j的移动设备S_i与无线局域网W连接，并从W的路由器处截取S_i上安装的App_j所产生的包括多个TCP协议数据包和HTTP协议数据包的流量数据T_ij，S_i表示第i个移动设备，i≥1，App_j表示第j个应用程序，j≥1；

(2)对流量数据T_ij进行筛选：

剔除流量数据集合T_ij中包含“TCP Analysis Flags”字段的TCP协议数据包和HTTP协议数据包，得到由不包含“TCP Analysis Flags”字段的TCP协议数据包和HTTP协议数据包组成的数据包集合T'_ij；

(3)获取会话样本集集合G_ij：

将T'_ij中属于同一个完整的TCP会话中的所有数据包作为一个会话样本，得到由多个会话样本组成的TCP会话集合sess_ij，并从sess_ij中有放回地随机抽取m次会话样本，将每次抽取的n个会话样本组成会话样本集，抽取m次会话样本所获得的会话样本集组成会话样本集集合G_ij：

G_ij＝{G_ij1,G_ij2,...,G_ijk,...,G_ijm}

其中G_ijk为第k次抽取会话样本所获得的会话样本集，m≥1，n≥1，m≥k≥1；

(4)获取训练集集合V^train和测试集集合V^test：

(4a)设置长度区间集合local：

local＝{local₁,local₂,...,local_e,...,local₂₅}

其中，local_e表示第e个长度区间[2^e-1,2^e)，24≥e≥0；

(4b)获取会话样本集G_ijk中n个会话样本各自的长度值l，并计算满足l∈local_e的会话样本的数量

占G_ijk中会话样本总数n的百分比

然后按照e由小到大的顺序将所有

排列成特征向量V_ijk；

(4c)将G_ij中m个会话样本集对应的特征向量组成特征向量集V_ij：

V_ij＝{V_ij1,V_ij2,...,V_ijk,...,V_ijm}；

(4d)将智能设备S_i下所有应用程序App_j的特征向量集V_ij组成S_i的特征向量集V_i，并对V_i中半数以上的特征向量添加标签，将添加有标签的特征向量和这些特征向量的标签作为训练集V_i ^train，构建包括所有训练集的集合V^test，同时将其余特征向量作为测试集V_i ^test，构建包括所有测试集的集合V^test，其中：

(5)构建分类模型集合M：

将训练集集合V^train作为随机森林算法的输入进行训练，得到分类模型集合M：

M＝{M₁,M₂,...,M_i,...}

其中，M_i为智能设备S_i对应的分类模型；

(6)获取智能设备应用的识别结果：

将测试集集合V^test作为分类模型集合M的输入进行分类，得到V^test中每个特征向量的标签。

本发明与现有技术相比，具有以下优点：

本发明在对智能设备应用程序进行识别时，通过提取完整的TCP会话，避免了以大于某一阈值的接收时间间隔为界限分组数据包时对TCP会话完整性的破坏，从而保留了更具代表性的应用程序特征，同时，通过计算TCP会话长度概率分布并以其作为识别特征，更直观地体现了不同类别应用程序因功能不同造成的数据传输规模的差异，弱化了因程序所在设备种类不同造成的同一应用程序之间的数据差异，实现了在训练集和测试集采集自不同设备的情况下识别准确率的提升。

附图说明

图1是本发明的实现流程图。

具体实施方式

下面结合附图和具体实施实例，对本发明作进一步的详细描述：

参照图1，本发明包括如下步骤：

步骤1)获取应用程序App_j在智能设备S_i上产生的流量数据集合T_ij：

将移动设备S_i接入无线局域网，并对移动设备上安装的应用程序App_j产生的包括多个TCP协议数据包和HTTP协议数据包的流量数据T_ij进行收集，每次在每个设备上安装一个应用程序，并将该设备单独接入无线局域网，其中，S_i表示第i个移动设备，i≥1，App_j表示第j个应用程序，j≥1；

本实例中使用的3个移动设备分别为Honor 6智能手机、Meizu Metal智能手机和Lenovo智能手机，并在每个设备上收集了7种应用程序的流量数据，这7种应用程序分别是“哔哩哔哩”、“微信”、“QQ”、“手机淘宝”、“抖音短视频”、“今日头条”和“微博”；

步骤2)对流量数据T_ij进行筛选：

使用tshark命令“tshark-r sourse.pcap-w destination.pcap-F pcap-Y‘(tcp||http)&&！(tcp.analysis.flags)’”对T_ij中的数据包进行过滤操作，以剔除流量数据集合T_ij中包含“TCP Analysis Flags”字段的TCP协议数据包和HTTP协议数据包，得到由不包含“TCP Analysis Flags”字段的TCP协议数据包和HTTP协议数据包组成的数据包集合T'_ij；

步骤3)获取会话样本集集合G_ij：

使用tshark命令“tshark-r source.pcap-w destination.pcap-F pcap-Y‘tcp.stream＝＝streamid'”，以实现将T'_ij中属于同一个完整的TCP会话中的所有数据包作为一个会话样本的过程，得到由多个会话样本组成的TCP会话集合sess_ij，采用获取完整会话的方式，可以更好地保留应用程序在同一个会话中收取与发送数据包的规律，从这种规律中提取出的特征将更好地标识应用程序的独特性，从而使该应用程序更易被识别；

之后，从sess_ij中有放回地随机抽取m次会话样本，将每次抽取的n个会话样本组成会话样本集，抽取m次会话样本所获得的会话样本集组成会话样本集集合G_ij：

G_ij＝{G_ij1,G_ij2,...,G_ijk,...,G_ijm}

其中G_ijk为第k次抽取会话样本所获得的会话样本集，本实例中，每个sess_ij中会话样本的数量位于3000个到10000个之间，m取300，n取100，m和n的取值是通过多次实验得出的最佳结果，采用对会话进行有放回抽样的方式，是为了进一步扩充训练集的大小，在sess_ij中会话样本数量足够多的情况下，随机抽取的每一组大小相同的样本集，都能以相同的程度代表sess_ij中会话样本的长度分布情况；

步骤4)获取训练集集合V^train和测试集集合V^test：

步骤4a)设置长度区间集合local：

local＝{local₁,local₂,...,local_e,...,local₂₅}

其中，local_e表示第e个长度区间[2^e-1,2^e)，25≥e≥1；

e须满足25≥e≥1，原因是绝大多数智能设备上的应用程序收取和发送的数据包长度都处于1到2²⁴字节之间，为避免对应用程序的识别造成负面影响，需滤除个别极端大的长度值；

步骤4b)使用Python中scapy库的rdpcap()方法解析G_ijk中的每个会话样本返回会话样本中每个数据包

的解析结果，并对解析结果中键名为“IP”的实例调用len()方法，得到

的长度值l_h，将中所有

的l_h相加，得到G_ijk中每个会话样本

的长度值l，计算满足l∈local_e的会话样本的数量

占G_ijk中会话样本总数n的百分比然后按照e由小到大的顺序将所有

排列成特征向量V_ijk，其中，

为G_ijk中第g个会话样本，

为

中第h个数据包，特征向量V_ijk即为TCP会话长度的概率分布；

使用会话长度概率分布作为应用程序的特征，可以更好地体现不同类别应用程序产生会话的特点，避免数据包内容因程序所在设备名称等因素产生的微小差异影响数据包长度，弱化设备的不同对数据包产生的影响，本实例中，应用程序“微信”和“QQ”属于即时通讯类应用程序，产生会话的长度通常较小，应用程序“哔哩哔哩”和“抖音短视频”属于视频类应用程序，产生会话的长度通常较大，分别对它们产生会话的长度进行概率分布的计算，即可得出能够标识各应用层程序的特征；

步骤4c)将G_ij中m个会话样本集对应的特征向量组成特征向量集V_ij：

V_ij＝{V_ij1,V_ij2,...,V_ijk,...,V_ijm}；

步骤4d)将智能设备S_i下所有应用程序App_j的特征向量集V_ij组成S_i的特征向量集V_i，并对V_i中半数以上的特征向量添加标签，标签值代表了每个特征向量的来源应用程序，本实例中，应用程序“哔哩哔哩”的标签值为“2”，应用程序“QQ”的标签值为“4”，应用程序“微信”的标签值为“7”，应用程序“手机淘宝”的标签值为“8”，应用程序“抖音短视频”的标签值为“9”，应用程序“今日头条”的标签值为“10”，应用程序“微博”的标签值为“11”，将添加有标签的特征向量和这些特征向量的标签作为训练集V_i ^train，构建包括所有训练集的集合V^test，同时将其余特征向量作为测试集V_i ^test，构建包括所有测试集的集合V^test，其中：

步骤5)构建分类模型集合M：

步骤5a)从训练集V_i ^train中有放回地随机抽取q次特征向量，将每次抽取的p个特征向量组成子训练集，抽取q次特征向量所获得的子训练集组成子训练集集合

其中

表示由从V_i ^train中抽取的特征向量组成的第c个子训练集，q≥c≥1，本实例中q取10，q的取值是多次实验得出的最佳结果；

步骤5b)从整数区间[1,25]中随机抽取R个整数，所有整数组成集合O：

O＝{o₁,o₂,...,o_r,...,o_R}

其中o_r为第r个整数，25≥o_r≥1，25＞R＞0；

步骤5c)将

中每一个特征向量V_ijk中的百分比按照o_r由小到大的顺序排列成子特征向量V”_ijk，所有V”_ijk组成新的训练子集

将输入决策树算法生成决策树，所有决策树组成智能设备S_i对应的分类模型M_i，所有分类模型M_i组成分类模型集合M：

M_i＝{tree₁,tree₂,...,tree_c,...,tree_q}

M＝{M₁,M₂,...,M_i,...}

其中tree_c为第c个决策树，q≥c≥1；

步骤6)获取智能设备应用的识别结果：

将测试集集合V^test中的测试集

分别输入分类模型集合M中的分类模型M_x，得到

中每个特征向量的标签，即可得到M_x以

作为输入进行分类的准确率，其中，

为智能设备S_y的测试集，M_x为智能设备S_x的分类模型，x≥1，y≥1。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (2)

1.一种基于TCP会话长度概率分布和随机森林算法的智能设备应用程序识别方法，其特征在于，包括以下步骤：

(1)获取应用程序App_j在智能设备S_i上产生的流量数据集合T_ij：

将安装有应用程序App_j的移动设备S_i与无线局域网W连接，并从W的路由器处截取S_i上安装的App_j所产生的包括多个TCP协议数据包和HTTP协议数据包的流量数据T_ij，S_i表示第i个移动设备，i≥1，App_j表示第j个应用程序，j≥1；

(2)对流量数据T_ij进行筛选：

剔除流量数据集合T_ij中包含“TCP Analysis Flags”字段的TCP协议数据包和HTTP协议数据包，得到由不包含“TCP Analysis Flags”字段的TCP协议数据包和HTTP协议数据包组成的数据包集合T'_ij；

(3)获取会话样本集集合G_ij：

将T'_ij中属于同一个完整的TCP会话中的所有数据包作为一个会话样本，得到由多个会话样本组成的TCP会话集合sess_ij，并从sess_ij中有放回地随机抽取m次会话样本，将每次抽取的n个会话样本组成会话样本集，抽取m次会话样本所获得的会话样本集组成会话样本集集合G_ij：

G_ij＝{G_ij1,G_ij2,...,G_ijk,...,G_ijm}

其中G_ijk为第k次抽取会话样本所获得的会话样本集，m≥1，n≥1，m≥k≥1；

(4)获取训练集集合V^train和测试集集合V^test：

(4a)设置长度区间集合local：

local＝{local₁,local₂,...,local_e,...,local₂₅}

其中，local_e表示第e个长度区间[2^e-1,2^e)，25≥e≥1；

(4b)获取会话样本集G_ijk中n个会话样本各自的长度值l，并计算满足l∈local_e的会话样本的数量

占G_ijk中会话样本总数n的百分比

然后按照e由小到大的顺序将所有

排列成特征向量V_ijk；

(4c)将G_ij中m个会话样本集对应的特征向量组成特征向量集V_ij：

V_ij＝{V_ij1,V_ij2,...,V_ijk,...,V_ijm}；

(4d)将智能设备S_i下所有应用程序App_j的特征向量集V_ij组成S_i的特征向量集V_i，并对V_i中半数以上的特征向量添加标签，将添加有标签的特征向量和这些特征向量的标签作为训练集V_i ^train，构建包括所有训练集的集合V^test，同时将其余特征向量作为测试集V_i ^test，构建包括所有测试集的集合V^test，其中：

(5)构建分类模型集合M：

将训练集集合V^train作为随机森林算法的输入进行训练，得到分类模型集合M：

M＝{M₁,M₂,...,M_i,...}

其中，M_i为智能设备S_i对应的分类模型；

(6)获取智能设备应用的识别结果：

将测试集集合V^test作为分类模型集合M的输入进行分类，得到V^test中每个特征向量的标签。

2.根据权利要求1所述基于TCP会话长度概率分布和随机森林算法的智能设备应用程序识别方法，其特征在于，步骤(5)所述将训练集集合V^train作为随机森林算法的输入进行训练，其中智能设备S_i对应的分类模型M_i的获取方法，包括如下步骤：

(5a)从训练集V_i ^train中有放回地随机抽取q次特征向量，将每次抽取的p个特征向量组成子训练集，抽取q次特征向量所获得的子训练集组成子训练集集合

其中

表示由从V_i ^train中抽取的特征向量组成的第c个子训练集，q≥c≥1；

(5b)从整数区间[1,25]中随机抽取R个整数，所有整数组成集合O：

O＝{o₁,o₂,...,o_r,...,o_R}

其中o_r为第r个整数，25≥o_r≥1，25＞R＞0；

(5c)将

中每一个特征向量V_ijk中的百分比按照o_r由小到大的顺序排列成子特征向量V”_ijk，所有V”_ijk组成新的训练子集

将

输入决策树算法生成决策树，所有决策树组成分类模型M_i：

M_i＝{tree₁,tree₂,...,tree_c,...,tree_q}

其中tree_c为第c个决策树，q≥c≥1。

Images