CN111200600A - 一种物联网设备流量序列指纹特征提取方法 - Google Patents

Abstract

本发明公开了一种物联网设备流量序列指纹特征提取方法。提取物联网设备的流量指纹特征，将其应用于物联网设备的识别，是物联网设备接入监管和安全监控的首要关键技术。通过分析物联网设备流量样本，本发明根据数据包之间时序关系，提取出最有价值的流量序列指纹特征，为物联网设备的分类模型提供特征输入。本发明充分挖掘给定物联网设备的数据包序列指纹特征，适用于自动提取物联网设备流量指纹特征。

Description

一种物联网设备流量序列指纹特征提取方法

技术领域

本发明属于网络安全与用户隐私领域，特别涉及一种物联网设备流量序列指纹特征提取方法。

背景技术

随着物联网时代的到来，物联网设备种类日益丰富，数量急剧增加。物联网带来了机遇，也带来了危险，现在网络上存在很多有着明显漏洞，却还在工作的物联网设备。这些设备对于攻击者来说有着很强的吸引力，攻击者可以通过漏洞获取这些设备的控制权，从而侵犯用户的个人隐私。攻击者也可以通过物联网设备构建僵尸网络，进行更大规模的攻击。监管物联网设备的接入行为并监控其安全，是网络管理与安全监控的一项重要任务。然而，网络的开放性及物联网设备无线接入的便捷性和动态性，导致运营商难以识别所管辖的网络中存在的物联网设备。

国内外关于物联网设备的识别主要集中在内网的被动探测，内网与外网的区别在于，设备的流量是否经过了网络地址转换(NAT)，在经过NAT之后，物理层和链路层信息丢失，将会使主动探测变得异常困难。

由此可见，在实际网络环境中，关于物联网设备流量的特征提取问题尚未被广泛深入研究，相关技术也尚未被广泛应用。

发明内容

本发明的目的在于提供一种物联网设备流量序列指纹特征提取方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种物联网设备流量序列指纹特征提取方法，包括以下步骤：

步骤1：给定目标物联网设备，捕获在没有用户操作行为干预下而自发产生的网络流量，形成流量样本集<(t₀,p₀),(),…>，其中t₀代表数据包到达时刻，p₀代表t₀时刻的数据包；

步骤2：对流量样本集的每一个数据包，分别从网络层、传输层和应用层的数据包包头中提取特征；所提取的特征组成一个向量，用以描述对应的数据包；

步骤3：将流量样本集中的数据包按照其所到达的时间顺序进行分组，每一个分组形成一个突发流量序列；每一个突发流量序列是由步骤2所提取的数据包特征向量组成的序列；

步骤4：对于任意两个突发流量序列，提取其最长公共子序列作为目标物联网设备的一个备选序列指纹特征；

步骤5：对步骤4中提取出的每一个备选序列指纹特征，通过计算价值函数，选择有价值的序列指纹特征，作为目标物联网设备流量的序列指纹特征集合。

进一步的，步骤2中，对于使用不同协议类型的数据包，在向量化过程中使用不同的特征；对于TCP协议数据包，从网络层提取服务器IP地址、TTL和有效负载长度特征，从传输层提取方向、服务器端口、TCP标志、TCP窗口大小和TCP选项特征，从应用层提取应用层协议类型特征；对于UDP协议且非DNS数据包，从网络层提取服务器IP地址、TTL和有效负载长度特征，从传输层提取方向和服务器端口特征，从应用层提取应用层协议类型特征；对于DNS数据包，从网络层提取服务器IP地址和TTL特征，从应用层提取应用层协议类型和域名特征；对于其他数据包，从网络层提取服务器IP地址、TTL和有效负载长特征，从传输层提取方向特征，从应用层提取应用层协议类型特征。

进一步的，步骤3中，流量样本集中的数据包分组：任一数据包距离下一个数据包的时间间隔超过设定的阈值，则该数据包标记为截断数据包；截断数据包将作为分组的最后一个数据包，与前序未被标记为截断数据包的所有数据包，按照原始顺序组成一个突发流量序列。

进一步的，步骤4中，在计算突发流量序列的最长公共子序列时，使用动态规划方法，该方法定义数据包之间的距离的计算方法为：若两个数据包协议类型不同，则距离为无穷远；若两个数据包协议类型相同，则距离等于对数据包向量化后每个特征的距离之和。

进一步的，动态规划方法具体为：假设i和j分别表示两个突发流量序列的前i个元素和前j个元素，L(i,j)是突发流量序列i和j的最长公共子序列，其计算公式如下：

其中，L(i-1,j-1)|I(vⁱ,v^j)表示序列I(vⁱ,v^j)被加入到序列L(i-1,j-1)的最后；d是一个阈值，用来控制距离；I(vⁱ,v^j)是一个用来提取两个相似数据包向量公共输出的函数，计算方法如下：

D(X,Y)表示数据包X和数据包Y之间的距离，若两个数据包协议类型不同，则距离为无穷远；若两个数据包协议类型相同，则距离等于数据包向量化后每个特征的距离之和；假设v^a和v^b是两个数据包的特征向量，下标i表示了特征向量中的某一个特征值，那么v^a和v^b之间的距离D(v^a,v^b)的计算公式如下：

其中，w_i是第i个元素的权重，m_i为限定的最大值，w_i和m_i均根据实际场景灵活设置。

表示v^a和v^b两个数据包第i个元素

和

的距离；

对于每两个突发流量序列，提取一个最长公共子序列，作为该物联网设备的一个备选序列指纹特征，假设突发流量的个数有n个，那么最终会生成

个备选序列指纹特征。

进一步的，每个特征的距离，不同特征类型使用不同的计算方法，针对数据包中不同的特征，采用3种不同的距离算法来计算特征之间的距离：a完全匹配距离；b数字距离；c莱文斯坦Levenshtein距离；对于数据包方向、服务器IP地址、TCP选项、TCP标志、服务器端口和有效负载长度，使用距离算法a；对于TCP窗口大小和TTL，使用距离算法b；对于域名，使用距离算法c。

进一步的，定义价值函数V(s)，以选择更好的序列指纹特征，V(s)的定义如下：

在上式中，s是一个备选序列指纹特征，N(s)是s在备选序列指纹特征集合中所出现的次数；v^j是s中的第j个向量，总计有len(s)个向量；

是向量v^j中的第i个属性，总计有len(v^j)个属性；若

的值为Any，则

否则

对步骤4得到的所有备选序列指纹特征按照价值函数计算出的价值进行排序，选取价值高的一部分序列指纹特征，作为物联网设备流量的序列指纹特征。

与现有技术相比，本发明有以下技术效果：

本发明通过分析物联网设备流量样本，根据数据包之间时序关系，提取出最有价值的流量序列指纹特征，为物联网设备的分类模型提供流量序列指纹特征。

1.与现有的其他特征选择的策略相比，本发明根据数据包使用的传输层协议的不同，灵活选择特征，并在特征提取过程中，针对不同的特征使用不同的算法，并赋予不同的权重，从而提高提取出的序列指纹特征的高覆盖率。

2.在对物联网设备流量提取出的备选序列指纹特征集十分庞大的情况下，此方法能够在保证最高特征覆盖范围的前提下最大化的缩小特征集，节省分类模型构建期间的训练成本，提高识别的准确率。

具体实施方式

以下对本发明进一步说明：

一种物联网设备流量序列指纹特征提取方法，包括以下步骤：

步骤1：给定目标物联网设备，捕获在没有用户操作行为干预下而自发产生的网络流量，形成流量样本集<(t₀,p₀),(),…>，其中t₀代表数据包到达时刻，p₀代表t₀时刻的数据包；

步骤2：对流量样本集的每一个数据包，分别从网络层、传输层和应用层的数据包包头中提取特征；所提取的特征组成一个向量，用以描述对应的数据包；

步骤3：将流量样本集中的数据包按照其所到达的时间顺序进行分组，每一个分组形成一个突发流量序列；每一个突发流量序列是由步骤2所提取的数据包特征向量组成的序列；

步骤4：对于任意两个突发流量序列，提取其最长公共子序列作为目标物联网设备的一个备选序列指纹特征；

步骤5：对步骤4中提取出的每一个备选序列指纹特征，通过计算价值函数，选择有价值的序列指纹特征，作为目标物联网设备流量的序列指纹特征集合。

步骤2中，对于使用不同协议类型的数据包，在向量化过程中使用不同的特征；对于TCP协议数据包，从网络层提取服务器IP地址、TTL和有效负载长度特征，从传输层提取方向、服务器端口、TCP标志、TCP窗口大小和TCP选项特征，从应用层提取应用层协议类型特征；对于UDP协议且非DNS数据包，从网络层提取服务器IP地址、TTL和有效负载长度特征，从传输层提取方向和服务器端口特征，从应用层提取应用层协议类型特征；对于DNS数据包，从网络层提取服务器IP地址和TTL特征，从应用层提取应用层协议类型和域名特征；对于其他数据包，从网络层提取服务器IP地址、TTL和有效负载长特征，从传输层提取方向特征，从应用层提取应用层协议类型特征。

步骤3中，流量样本集中的数据包分组：任一数据包距离下一个数据包的时间间隔超过设定的阈值，则该数据包标记为截断数据包；截断数据包将作为分组的最后一个数据包，与前序未被标记为截断数据包的所有数据包，按照原始顺序组成一个突发流量序列。

步骤4中，在计算突发流量序列的最长公共子序列时，使用动态规划方法，该方法定义数据包之间的距离的计算方法为：若两个数据包协议类型不同，则距离为无穷远；若两个数据包协议类型相同，则距离等于对数据包向量化后每个特征的距离之和。

动态规划方法具体为：假设i和j分别表示两个突发流量序列的前i个元素和前j个元素，L(i,j)是突发流量序列i和j的最长公共子序列，其计算公式如下：

其中，L(i-1,j-1)|I(vⁱ,v^j)表示序列I(vⁱ,v^j)被加入到序列L(i-1,j-1)的最后；d是一个阈值，用来控制距离；I(vⁱ,v^j)是一个用来提取两个相似数据包向量公共输出的函数，计算方法如下：

D(X,Y)表示数据包X和数据包Y之间的距离，若两个数据包协议类型不同，则距离为无穷远；若两个数据包协议类型相同，则距离等于数据包向量化后每个特征的距离之和；假设v^a和v^b是两个数据包的特征向量，下标i表示了特征向量中的某一个特征值，那么v^a和v^b之间的距离D(v^a,v^b)的计算公式如下：

其中，w_i是第i个元素的权重，m_i为限定的最大值，w_i和m_i均根据实际场景灵活设置。

表示v^a和v^b两个数据包第i个元素

和

的距离；

对于每两个突发流量序列，提取一个最长公共子序列，作为该物联网设备的一个备选序列指纹特征，假设突发流量的个数有n个，那么最终会生成

个备选序列指纹特征。

每个特征的距离，不同特征类型使用不同的计算方法，针对数据包中不同的特征，采用3种不同的距离算法来计算特征之间的距离：a完全匹配距离；b数字距离；c莱文斯坦Levenshtein距离；对于数据包方向、服务器IP地址、TCP选项、TCP标志、服务器端口和有效负载长度，使用距离算法a；对于TCP窗口大小和TTL，使用距离算法b；对于域名，使用距离算法c。

定义价值函数V(s)，以选择更好的序列指纹特征，V(s)的定义如下：

在上式中，s是一个备选序列指纹特征，N(s)是s在备选序列指纹特征集合中所出现的次数；v^j是s中的第j个向量，总计有len(s)个向量；

是向量v^j中的第i个属性，总计有len(v^j)个属性；若

的值为Any，则

否则

对步骤4得到的所有备选序列指纹特征按照价值函数计算出的价值进行排序，选取价值高的一部分序列指纹特征，作为物联网设备流量的序列指纹特征。

实施例：

步骤1：捕获物联网设备Mijia Plug在没有用户操作行为干预下而自发产生的一个小时的网络流量，形成流量样本集<(t₀,p₀),(),…>，其中t₀代表时间，p₀代表t₀时刻的数据包。

步骤2：对流量样本集每一个数据包，分别从网络层、传输层和应用层的数据包包头中提取特征。所提取的特征组成一个向量，用以描述对应的数据包。一个TCP数据包向量化的结果如下：<1551848149.6554,'TCP',-1,'101.124.12.78',64,897,80,'PA',913,'none'>。

步骤3：将流量样本集中的数据包按照其所到达的时间顺序进行分组，每一个分组形成一个突发流量序列。流量样本集中在第32秒有3个数据包，第64秒也有3个数据包，根据设定的时间间隔阈值，可以确定第32秒的3个数据包为一个突发流量组，第64秒也是如此。分别将3个流量包的向量组合成一个突发流量序列，得到两个突发流量序列A和B。以此类推，组合得到其他突发流量序列。

步骤4：对于任意两个突发流量序列，提取其最长公共子序列作为目标物联网设备的一个备选序列指纹特征。使用动态规划的方法，计算任意两个各个突发流量序列的最长公共子序列，距离计算公式如下：

其中，特征距离D(vⁱ,v^j)的计算方法如下：

物联网设备Mijia Plug的特征距离参数如下表：

通过计算，可以得到多个Mijia Plug的备选序列指纹特征。例如：[['TCP',-1,'101.124.12.78',64,897,80,'PA',913,'Any'],['TCP',-1,'101.124.12.78',64,0,80,'A',913,'Any']]。

步骤5：通过本发明的价值函数V(s)来选取有价值的序列指纹特征，V(s)的计算公式如下：

最终，按照价值函数计算出的价值，对所有的序列指纹特征进行排序，选择排名前5的序列指纹特征作为物联网设备Mijia Plug的序列指纹特征。

Claims (7)

1.一种物联网设备流量序列指纹特征提取方法，其特征在于，包括以下步骤：

步骤1：给定目标物联网设备，捕获在没有用户操作行为干预下而自发产生的网络流量，形成流量样本集<(t₀,p₀),(),…>，其中t₀代表数据包到达时刻，p₀代表t₀时刻的数据包；

步骤2：对流量样本集的每一个数据包，分别从网络层、传输层和应用层的数据包包头中提取特征；所提取的特征组成一个向量，用以描述对应的数据包；

步骤3：将流量样本集中的数据包按照其所到达的时间顺序进行分组，每一个分组形成一个突发流量序列；每一个突发流量序列是由步骤2所提取的数据包特征向量组成的序列；

步骤4：对于任意两个突发流量序列，提取其最长公共子序列作为目标物联网设备的一个备选序列指纹特征；

步骤5：对步骤4中提取出的每一个备选序列指纹特征，通过计算价值函数，选择有价值的序列指纹特征，作为目标物联网设备流量的序列指纹特征集合。

2.根据权利要求1所述的一种物联网设备流量序列指纹特征提取方法，其特征在于，步骤2中，对于使用不同协议类型的数据包，在向量化过程中使用不同的特征；对于TCP协议数据包，从网络层提取服务器IP地址、TTL和有效负载长度特征，从传输层提取方向、服务器端口、TCP标志、TCP窗口大小和TCP选项特征，从应用层提取应用层协议类型特征；对于UDP协议且非DNS数据包，从网络层提取服务器IP地址、TTL和有效负载长度特征，从传输层提取方向和服务器端口特征，从应用层提取应用层协议类型特征；对于DNS数据包，从网络层提取服务器IP地址和TTL特征，从应用层提取应用层协议类型和域名特征；对于其他数据包，从网络层提取服务器IP地址、TTL和有效负载长特征，从传输层提取方向特征，从应用层提取应用层协议类型特征。

3.根据权利要求1所述的一种物联网设备流量序列指纹特征提取方法，其特征在于，步骤3中，流量样本集中的数据包分组：任一数据包距离下一个数据包的时间间隔超过设定的阈值，则该数据包标记为截断数据包；截断数据包将作为分组的最后一个数据包，与前序未被标记为截断数据包的所有数据包，按照原始顺序组成一个突发流量序列。

4.根据权利要求2所述的一种物联网设备流量序列指纹特征提取方法，其特征在于，步骤4中，在计算突发流量序列的最长公共子序列时，使用动态规划方法，该方法定义数据包之间的距离的计算方法为：若两个数据包协议类型不同，则距离为无穷远；若两个数据包协议类型相同，则距离等于对数据包向量化后每个特征的距离之和。

5.根据权利要求4所述的一种物联网设备流量序列指纹特征提取方法，其特征在于，动态规划方法具体为：假设i和j分别表示两个突发流量序列的前i个元素和前j个元素，L(i,j)是突发流量序列i和j的最长公共子序列，其计算公式如下：

其中，L(i-1,j-1)|I(vⁱ,v^j)表示序列I(vⁱ,v^j)被加入到序列L(i-1,j-1)的最后；d是一个阈值，用来控制距离；I(vⁱ,v^j)是一个用来提取两个相似数据包向量公共输出的函数，计算方法如下：

D(X,Y)表示数据包X和数据包Y之间的距离，若两个数据包协议类型不同，则距离为无穷远；若两个数据包协议类型相同，则距离等于数据包向量化后每个特征的距离之和；假设v^a和v^b是两个数据包的特征向量，下标i表示了特征向量中的某一个特征值，那么v^a和v^b之间的距离D(v^a,v^b)的计算公式如下：

其中，w_i是第i个元素的权重，m_i为限定的最大值，w_i和m_i均根据实际场景灵活设置；

表示v^a和v^b两个数据包第i个元素

和

的距离；

对于每两个突发流量序列，提取一个最长公共子序列，作为该物联网设备的一个备选序列指纹特征，假设突发流量的个数有n个，那么最终会生成

个备选序列指纹特征。

6.根据权利要求4所述的一种物联网设备流量序列指纹特征提取方法，其特征在于，每个特征的距离，不同特征类型使用不同的计算方法，针对数据包中不同的特征，采用3种不同的距离算法来计算特征之间的距离：a完全匹配距离；b数字距离；c莱文斯坦Levenshtein距离；对于数据包方向、服务器IP地址、TCP选项、TCP标志、服务器端口和有效负载长度，使用距离算法a；对于TCP窗口大小和TTL，使用距离算法b；对于域名，使用距离算法c。

7.根据权利要求1所述的一种物联网设备流量序列指纹特征提取方法，其特征在于，定义价值函数V(s)，以选择更好的序列指纹特征，V(s)的定义如下：

在上式中，s是一个备选序列指纹特征，N(s)是s在备选序列指纹特征集合中所出现的次数；v^j是s中的第j个向量，总计有len(s)个向量；

是向量v^j中的第i个属性，总计有len(v^j)个属性；若

的值为Any，则

否则

对步骤4得到的所有备选序列指纹特征按照价值函数计算出的价值进行排序，选取价值高的一部分序列指纹特征，作为物联网设备流量的序列指纹特征。