CN110380989A - 网络流量指纹特征二阶段多分类的物联网设备识别方法 - Google Patents

Abstract

本发明公开了一种网络流量指纹特征二阶段多分类的物联网设备识别方法，属于物联网设备接入控制技术领域，该算法从网络流量中提取网络流量特征并匹配识别接入的物联网设备。该算法的主要步骤为：首先采集物联网设备启动接入阶段时的N个网络报文数据，从序列字段内容、序列协议信息以及序列统计数值三个维度提取特征作为设备指纹特征；接着采用“一对多”多分类机器学习架构对待检测的物联网设备进行初步识别；若初步识别出现多个识别结果，则将结果输入至最大相似度比较模块进行二次分类识别，选取相似度最高的类型作为最终识别结果。本发明克服了现有识别算法在进行物联网设备识别时容易出现识别重叠的问题，提高了识别的精确性和唯一性。

Description

网络流量指纹特征二阶段多分类的物联网设备识别方法

技术领域

本发明属于物联网设备接入控制技术领域，尤其涉及网络流量指纹特征二阶段多分类的物联网设备识别方法。

背景技术

基于网络流量特征指纹识别是指通过提取物联网设备网络流量里与设备个体有关的数值作为设备特征进行设备识别的技术。依据流量数据的获取方式为主动探测或者被动监控，设备指纹技术可分为主动和被动两种方式。相比与依赖于强大的加密协议或复杂的认证机制的传统设备认证方式，设备指纹技术实现简单且可靠性较强，更适用于物理和计算资源均有限的物联网设备。此外，许多传统的物联网设备由于系统封闭并且程序固化，无法通过后续软件更新或补丁操作添加身份认证机制实现安全的设备接入控制，而特征指纹识别技术可弥补这方面的不足。

现有的特征指纹识别技术研究还较少，主要有利用线性规划、最小二乘拟合法等数学方法和频谱分析技术等方法进行设备特征指纹识别。GAO等人在2010年提出利用不同制造商的AP在体系结构(如芯片、固件、驱动)上具有异构性质进行设备识别，之后Formby等人在2016年也利用这个方法将其提出的识别方案推广到工业控制系统中。虽然这个方法的识别准确度很高，但所需分析的网络数据报文数量过大，严重影响了实时效率，不适用于资源有限的物联网设备。Corbett提出了利用频谱分析技术实现设备识别的方案，主要针对于无线设备的识别，具有局限性。

随着人工智能领域的发展，机器学习方法已逐渐应用于设备指纹技术。所谓分类，简单来说，就是根据文本的特征或属性，划分到已有的类别中。常用的分类算法包括：决策树分类法，朴素的贝叶斯分类算法(native Bayesian classifier)、基于支持向量机(SVM)的分类器，神经网络法，k-最近邻法(k-nearest neighbor，knn)，模糊分类法等等。上述算法对于二分类问题都已得到了很好的应用，但是设备识别属于多分类问题，即将被检测设备识别为多个类型中的某一类，现有的机器学习方法往往存在分类精度不高的问题。特别在物联网场景中，同一制造商的同一系列设备会大量部署，由于这些设备在硬件、固件和软件方面的相似性，因此很容易出现识别混淆的现象。

发明内容

发明目的：为了克服现有设备识别技术对同一厂商同一系列设备识别精度不高的问题，本发明提供网络流量指纹特征二阶段多分类的物联网设备识别方法，用于解决物联网设备在计算资源受限，无法安装认证程序时设备认证接入的问题。

技术方案：为实现上述目的，本发明采用的技术方案为：

网络流量指纹特征二阶段多分类的物联网设备识别方法，具体包括以下步骤：

步骤1、提取物联网设备的网络流量指纹特征：采集物联网设备启动接入阶段时的N个网络报文数据，将N个网络报文数据看做一时间序列集合，从中提取与物联网设备个体相关的特征向量，其中N为正整数；

步骤2、采用机器学习多分类识别方法进行分类识别：将提取出的特征向量输入到机器学习多分类识别模型中进行分类识别，得到初步识别结果；

步骤3、对识别结果进行二次分类识别：若初步识别阶段识别出多个类型而无法判断的话，则计算待检测物联网设备的网络流量特征向量与初步识别出的类型相应样本特征向量之间的相似度，选取相似度最高的类型作为最终识别结果。

作为本发明网络流量指纹特征二阶段多分类的物联网设备识别方法的进一步优选方案，在步骤1中，收集的物联网设备网络流量数据报文来源于设备启动接入阶段，其收集的报文数量为一固定数量常值。

作为本发明网络流量指纹特征二阶段多分类的物联网设备识别方法的进一步优选方案，在步骤1中，从网络流量提取与物联网设备个体相关的特征向量，其方法为：将启动接入阶段开始收集到的固定数量的物联网设备网络数据报文视作一个时间序列集合，从序列字段内容、序列协议信息以及序列统计数值三个维度提取特征构成向量集合作为该物联网设备的设备指纹特征：

(1)序列字段内容：从网络数据报文中提取网络层和传输层协议中特定字段里的内容作为特征值，用以刻画物联网设备的网络数据报文细节信息；

(2)序列协议信息：从时间序列集合里提取各网络数据报文的应用层协议类型作为特征值，用以刻画物联网设备在启动接入阶段传递的应用协议信息；

(3)序列统计数值：从时间序列集合中提取与时间序列有关的时间统计特征，用以刻画物联网设备的网络行为信息。

作为本发明网络流量指纹特征二阶段多分类的物联网设备识别方法的进一步优选方案，对于所述的收集的报文数量为一固定数量常值，该数值设为20，以保证得到稳定的物联网设备个体特征。

作为本发明网络流量指纹特征二阶段多分类的物联网设备识别方法的进一步优选方案，从网络流量里的序列字段内容、序列协议信息以及序列统计数值三个维度提取特征后，需对所提取的特征向量进行最小-最大归一化处理在合并构成向量集合作为该物联网设备的设备指纹特征。

作为本发明网络流量指纹特征二阶段多分类的物联网设备识别方法的进一步优选方案，从网络数据报文中提取网络层和传输层协议中特定字段里的数值，所选择的字段为：versio，ttl，df，net_pro，net_opt，trans_opt和port，将这7个字段的内容作为特征字段提取数值，构建出一个7*20的特征向量矩阵，再将该特征向量矩阵转换为等价一维向量作为序列字段内容维度的特征向量。

作为本发明网络流量指纹特征二阶段多分类的物联网设备识别方法的进一步优选方案，从时间序列集合里提取各网络数据报文的应用层协议类型作为特征值，所选择的应用层协议类型为基于TCP的http协议、https协议、ssh协议、ftp协议、rtsp协议、telnet协议以及无协议(raw)；基于UDP的snmp协议、onvif协议、dns协议、nfs协议、dhcp协议、tftp协议、pop协议，若物联网设备启动接入阶段的网络流量中存在上述所列的某种协议，则标为数值1，否则记为0，从而从流量数据中提取出14维的特征向量并将这些特征构成一个一维特征向量。

作为本发明网络流量指纹特征二阶段多分类的物联网设备识别方法的进一步优选方案，从时间序列集合中提取与时间序列有关的时间统计特征，所选择的统计特征为相邻数据报文到达间隔和数据报文长度的统计特性，统计特性包括总和，最大值，最小值，平均值，方差和标准差，并将这些统计特征构成一个一维特征向量。

作为本发明网络流量指纹特征二阶段多分类的物联网设备识别方法的进一步优选方案，步骤2采用机器学习多分类识别方法进行分类识别，其采用的多分类识别方法为一对多的多分类机器学习框架对待检测的物联网设备进行识别。

作为本发明网络流量指纹特征二阶段多分类的物联网设备识别方法的进一步优选方案，步骤3采用最大相似度比较算法对识别结果进行二次分类识别，其采用的最大相似度比较算法为一种改进的余弦相似度比较算法，具体为计算待检测物联网设备的网络流量特征向量与初步识别出的类型相应样本特征向量之间的余弦相似度，选取相似度最高的类型作为最终识别结果；该改进的余弦相似度(cosine-similarity)计算公式为：

其中V＝{v₁,v₂,v₃,…,v_n}为待检测设备的特征向量，S_j＝{s_j1,s_j2,s_j3,…,s_jn}为第j个类型的样本数据的特征向量。

有益效果

1、本发明提供的网络流量指纹特征二阶段多分类的物联网设备识别方法，可以解决现有多分类机器学习识别方法中的分类识别重叠，分类精度不高的问题；

2、本发明特别在物联网场景中，同一制造商的同一系列设备会大量部署，由于这些设备在硬件、固件和软件方面的相似性，因此采用多分类机器学习识别方法很容易出现识别混淆的现象；

3、本发明提出的二阶段多分类识别方法可以有效的识别同一制造商的同一系列的不同设备，同时该识别方法仅需采集设备启动接入阶段时网络流量数据，无需在设备终端安装身份识别程序，适用于物联网应用场景下大规模物理资源和计算资源均有限的物联网设备接入时的识别接入控制；

4、同时本发明向后兼容性好，仅需增加物联网设备启动接入阶段时网络流量数据的特征即可支持后续物联网设备，对物联网的网络访问控制、网络系统安全防护等有着现实指导意义。

附图说明

图1是本发明的网络流量指纹特征二阶段多分类的物联网设备识别方法的整体框图。

具体实施方式

以下结合附图对本发明做进一步说明。

图1所示为本发明的基于网络流量指纹特征二阶段多分类的物联网设备识别方法的整体框图，包括以下步骤：

101、提取物联网设备的网络流量指纹特征：采集物联网设备启动接入阶段时的20个网络报文数据，将其看做一时间序列集合，从中提取与物联网设备个体相关的特征向量。具体包括以下步骤：

1011、物联网设备网络流量数据报文采集：采用旁路或串路的方式将流量采集设备放置在物联网设备与网关之间，收集物联网设备启动接入阶段时的前20个网络数据报文；

1012、从网络数据报文中提取与物联网设备个体相关的特征向量：将启动接入阶段开始收集到的固定数量的物联网设备网络数据报文视作一个时间序列集合，从序列字段内容、序列协议信息以及序列统计数值三个维度提取特征构成向量集合作为该物联网设备的设备指纹特征；

1013、序列字段内容：从网络数据报文中提取网络层和传输层协议中特定字段里的内容作为特征值，用以刻画物联网设备的网络数据报文细节信息。从序列字段内容里选择的特征值是“version”，“ttl”，“df，”“net_pro”,“net_opt”,“trans_opt”和“port”7个字段里的内容作为特征字段提取数值，构建出一个7*20的特征向量矩阵，再将该特征向量矩阵转换为等价一维向量作为序列字段内容维度的特征向量F1；

序列字段内容特征值编码规则如下：version字段IPv4编码为0，IPv6编码为1；ttl大于等于64时的特征定义为1，ttl小于64时编码为0；net_proto为TCP时编码为0，UDP时编码为1，其余为2；df字段描述报文是否分片，若不分片则编码为1，分片则编码为0；net__opt用于指示IP报文是否存在option选项，即检查IP报文头部是否大于20，若是则编码为1，否则编码为0；trans__opt用于表征TCP/UDP报中是否存在option选项，若有编码为1，否则编码为0；对port字段，根据IAIA(the InternetAssigned Numbers Authority,因特网号码分配机构)的端口划分规则，可知端口(0～1023)、注册端(1024～49151)和动态端口(49152～65535)分别编码为0、1和2。最后生成特征矩阵M：

其中，n＝20为物联网设备启动接入时采集的网络数据报文数量。将M转换为一维向量F1:

Fl＝{f_1，1，f_1，2，…，f_1，n，…f_7，1，f_7，2，…，f_7，n}

1014、序列协议信息：从时间序列集合里提取各网络数据报文的应用层协议类型作为特征值，用以刻画物联网设备在启动接入阶段传递的应用协议信息；所选择的应用层协议类型为基于TCP的http协议、https协议、ssh协议、ftp协议、rtsp协议、telnet协议以及无协议(raw)；基于UDP的snmp协议、onvif协议、dns协议、nfs协议、dhcp协议、tftp协议、pop协议，若物联网设备启动接入阶段的网络流量中存在上述所列的某种协议，则标为数值1，否则记为0，从而从流量数据中提取出14维的特征向量并将这些特征构成一个一维特征向量F2。

在应用层，供应商使用不同的协议支持不同的设备，基于此通过研究设备在传输层协议使用的情况，作为设备识别的依据。序列协议信息特征值的编码规则为：若物联网设备接入启动阶段的头20个网络数据报文中存在上述所列的某种协议，则标为数值1，否则记为0，从而可从网络数据报文中提取出14维的特征向量F2。例如，网络摄像头除了运行ONVIF协议外，为了方便管理，产商还会为其部署SNMP，SSH，TELNET等协议。因此，对于此类型设备，其特征向量F2＝(0,0,1,0,0,1,0,1,1,0,0,0,0,0)。

1015、序列统计数值：从时间序列集合中提取与时间序列有关的时间统计特征，用以刻画物联网设备的网络行为信息。所选择的统计特征为相邻数据报文到达间隔和数据报文长度的统计特性，包括“总和”，“最大值”，“最小值”，“平均值”，“方差”和“标准差”等统计特性，并将这些特征构成一个一维特征向量F3。

统计特征的计算方法如表1所示：

表1

对物联网设备启动阶段最初的20个网络数据报文的相邻报文到达间隔数值和数据报文长度数值分别计算上述统计特征值，得到一个一维特征向量F3。

F3＝(f_len1，f_len2，……，f_len6，f_iat1，f_iat2，……，f_iat6}

1016、构建物联网设备的特征值：从上述三个维度：序列字段内容、序列协议信息、序列统计数值提取的特征向量F1、F2以及F3里的特征值按照最小-最大归一化算法线性转换到[0,1]范围，其归一化公式如下：

归一化处理完后令F＝{F1，F2，F3}作为该物联网设备的指纹特征。

102、采用机器学习多分类识别方法进行分类识别：将提取出的特征向量输入到机器学习多分类识别模型中进行分类识别，得到初步识别结果；其采用的多分类识别方法为“一对多”多分类机器学习框架对待检测的物联网设备进行识别。其“一对多”多分类机器学习框架是在训练阶段依次将某一类别的样本归为正样本集，而其他剩余样本自动归为负样本集；对于拥有n种类型的样本集构造n个二分类器1021；将待检测设备的指纹特征输入n个二分类其中进行二分判别1022，若其某个分类器输出的判别结果为正值，则可判定待检测设备的身份。这里采用的机器学习算法为SVM算法。

103、采用最大相似度比较算法对识别结果进行二次分类识别：若初步识别阶段识别出多个类型而无法判断的话，则计算待检测物联网设备的网络流量特征向量与初步识别出的类型相应样本特征向量之间的相似度，选取相似度最高的类型作为最终识别结果。

由于102所采用的“一对多”多分类机器学习框架会出现多个二分类器判别结果为正的情况，因此需对二分类器判别结果为正的那些类型进行二次判别。本步骤采用了一种改进的余弦相似度比较算法进行最大相似度比较，计算待检测物联网设备的网络流量特征向量与初步识别出的类型相应样本特征向量之间的余弦相似度1031，选取相似度最高的类型作为最终识别结果1032。该改进的余弦相似度(cosine-similarity)计算公式为：

其中V＝{v₁,v₂,v₃,…,v_n}为待检测设备的特征向量，S_j＝{s_j1,s_j2,s_j3,…,s_jn}为第j个类型的样本数据的特征向量。该公式可以修正样本特征向量和待测设备特征向量的量纲偏差，计算待检测设备与各类型样本平均特征向量的余弦相似度，选取相似度最高的类型为最终分类结果。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.网络流量指纹特征二阶段多分类的物联网设备识别方法，其特征在于：具体包括以下步骤：

步骤1、提取物联网设备的网络流量指纹特征：采集物联网设备启动接入阶段时的N个网络报文数据，将N个网络报文数据看做一时间序列集合，从中提取与物联网设备个体相关的特征向量，其中N为正整数；

步骤2、采用机器学习多分类识别方法进行分类识别：将提取出的特征向量输入到机器学习多分类识别模型中进行分类识别，得到初步识别结果；

步骤3、对识别结果进行二次分类识别：若初步识别阶段识别出多个类型而无法判断的话，则计算待检测物联网设备的网络流量特征向量与初步识别出的类型相应样本特征向量之间的相似度，选取相似度最高的类型作为最终识别结果。

2.根据权利要求1所述的网络流量指纹特征二阶段多分类的物联网设备识别方法，其特征在于：在步骤1中，收集的物联网设备网络流量数据报文来源于设备启动接入阶段，其收集的报文数量为一固定数量常值。

3.根据权利要求1所述的网络流量指纹特征二阶段多分类的物联网设备识别方法，其特征在于：在步骤1中，从网络流量提取与物联网设备个体相关的特征向量，其方法为：将启动接入阶段开始收集到的固定数量的物联网设备网络数据报文视作一个时间序列集合，从序列字段内容、序列协议信息以及序列统计数值三个维度提取特征构成向量集合作为该物联网设备的设备指纹特征：

(1)序列字段内容：从网络数据报文中提取网络层和传输层协议中特定字段里的内容作为特征值，用以刻画物联网设备的网络数据报文细节信息；

(2)序列协议信息：从时间序列集合里提取各网络数据报文的应用层协议类型作为特征值，用以刻画物联网设备在启动接入阶段传递的应用协议信息；

(3)序列统计数值：从时间序列集合中提取与时间序列有关的时间统计特征，用以刻画物联网设备的网络行为信息。

4.根据权利要求2所述的网络流量指纹特征二阶段多分类的物联网设备识别方法，其特征在于：对于所述的收集的报文数量为一固定数量常值，该数值设为20，以保证得到稳定的物联网设备个体特征。

5.根据权利要求3所述的网络流量指纹特征二阶段多分类的物联网设备识别方法，其特征在于：从网络流量里的序列字段内容、序列协议信息以及序列统计数值三个维度提取特征后，需对所提取的特征向量进行最小-最大归一化处理在合并构成向量集合作为该物联网设备的设备指纹特征。

6.根据权利要求3所述的网络流量指纹特征二阶段多分类的物联网设备识别方法，其特征在于：从网络数据报文中提取网络层和传输层协议中特定字段里的数值，所选择的字段为：versio，ttl，df，net_pro，net_opt，trans_opt和port，将这7个字段的内容作为特征字段提取数值，构建出一个7*20的特征向量矩阵，再将该特征向量矩阵转换为等价一维向量作为序列字段内容维度的特征向量。

7.根据权利要求3所述的网络流量指纹特征二阶段多分类的物联网设备识别方法，其特征在于：从时间序列集合里提取各网络数据报文的应用层协议类型作为特征值，所选择的应用层协议类型为基于TCP的http协议、https协议、ssh协议、ftp协议、rtsp协议、telnet协议以及无协议(raw)；基于UDP的snmp协议、onvif协议、dns协议、nfs协议、dhcp协议、tftp协议、pop协议，若物联网设备启动接入阶段的网络流量中存在上述所列的某种协议，则标为数值1，否则记为0，从而从流量数据中提取出14维的特征向量并将这些特征构成一个一维特征向量。

8.根据权利要求3所述的网络流量指纹特征二阶段多分类的物联网设备识别方法，其特征在于：从时间序列集合中提取与时间序列有关的时间统计特征，所选择的统计特征为相邻数据报文到达间隔和数据报文长度的统计特性，统计特性包括总和，最大值，最小值，平均值，方差和标准差，并将这些统计特征构成一个一维特征向量。

9.根据权利要求1所述的网络流量指纹特征二阶段多分类的物联网设备识别方法，其特征在于：步骤2采用机器学习多分类识别方法进行分类识别，其采用的多分类识别方法为一对多的多分类机器学习框架对待检测的物联网设备进行识别。

10.根据权利要求1所述的网络流量指纹特征二阶段多分类的物联网设备识别方法，其特征在于：步骤3采用最大相似度比较算法对识别结果进行二次分类识别，其采用的最大相似度比较算法为一种改进的余弦相似度比较算法，具体为计算待检测物联网设备的网络流量特征向量与初步识别出的类型相应样本特征向量之间的余弦相似度，选取相似度最高的类型作为最终识别结果；该改进的余弦相似度cosine-similarity计算公式为：

其中V＝{v₁,v₂,v₃,…,v_n}为待检测设备的特征向量，S_j＝{s_j1,s_j2,s_j3,…,s_jn}为第j个类型的样本数据的特征向量。