CN110912933A - 一种基于被动测量的设备识别方法 - Google Patents

Abstract

本发明提出一种基于被动测量的设备识别方法，包括如下步骤：步骤1：不同设备之间通信产生的流量数据转化成图结构，将设备作为节点，刻画每个节点在图中的重要程度，以此进行聚类分析，找出服务器设备；步骤2：针对上述服务器设备，分别得到与其通联的终端列表，并使用明确数字刻画终端与服务器通联的流量级别，以此进行聚类分析，分离同属于终端的主机和网络地址转换设备，即NAT设备；步骤3：对已经确定的NAT设备运行验证分析方法，判断其后面是否存在服务器。本发明构建了被动测量引导下的网络测绘模型，以提高测量实效、降低测量复杂度和被测网络负载。

Description

一种基于被动测量的设备识别方法

技术领域

本发明涉及网络安全测绘和被动测量技术领域，尤其涉及一种基于被动测量的设备识别方法。

背景技术

如今黑客攻击的方式更加多样，针对的设备更加广泛，利用的漏洞更加复杂，造成的威胁更加严重，特定的安全漏洞往往威胁某一类网络设备，这突显出了全面统计网络空间设备的分布情况及属性的重要性和紧迫性。

在大规模的行业内部网络中，每天产生的流量数据数以亿计。流量数据反映了内部网络真实的状态，对于全面统计网络空间中的设备分布情况以及预警设备潜在威胁均具有很强的实用意义。

通常情况下，NAT(网络地址转换)设备以终端的角色出现在流量数据中，这就会使得隐藏在NAT设备背后的主机或服务器以NAT设备的身份任意访问内网中服务资源。利用这一特点，攻击者可能使用隐藏在NAT设备后面的计算机从事非法活动，例如发起攻击、进行扫描、窃取数据、恶意下载、违规提供数据服务等，将会导致非常严重的问题。因此通过分析数据流量，定期检测并过滤出未经授权的NAT设备变得很必要。

网络测绘是网络测量的延伸，网络测量技术用于网络测绘。根据测量方式，网络空间测绘技术可分为主动测量和被动测量两类。对于大规模的行业内部网络，主动测量并不是一种好的方式，主要表现在：(1)内部网络受传输带宽局限，无法支持开展主动遍历测量，容易造成网络拥塞。(2)内部网络中部署了各类安全防护产品，主动测量容易被识别为攻击，阻断测量。(3)内部网络设置了严格的网络边界和访问控制措施，主动测量难以做到可达性和覆盖性。

发明内容

为了解决以上技术问题，本发明考虑到不同的服务器存储着不同的资源，可能存在这样的NAT设备，与特定服务器产生的流量很高，但在总流量分析中流量级别不明显。如果依次遍历服务器得到通联列表，通过分析流量过滤出与之连接的NAT设备，这样会达到更好的分类效果。因此，针对上述主动测量存在问题，本发明构建了被动测量引导下的网络测绘模型，以提高测量实效、降低测量复杂度和被测网络负载。

本发明的目标是对流量数据中出现的设备进行识别，以实现对内部网络的测绘描述。为此，引入了社交关系图的思路，提出了针对图结构和流量分析的无监督学习框架，通过图特征聚类方法确定内网中存在的服务器设备和主机设备，通过流量级别聚类确定内网中存在的NAT设备。此外，内网中NAT设备后面网络设备发生的通联关系并不会出现在流量数据中，但是这些设备也属于内网中的网络设备资产。解决方法是引入一套验证分析方法，用于判定是否有隐藏在NAT设备后面的服务器。

根据本发明的一个方面，提出的一种基于被动测量的设备识别方法，包括如下步骤：

步骤1：将不同设备之间通信产生的流量数据转化成图结构，将设备作为节点，刻画每个节点在图中的重要程度，以此进行聚类分析，找出服务器设备；

步骤2：针对上述服务器设备，分别得到与其通联的终端列表，并使用明确数字刻画终端与服务器通联的流量级别，以此进行聚类分析，分离同属于终端的主机和网络地址转换设备，即NAT设备；

步骤3：对已经确定的NAT设备运行验证分析方法，判断其后面是否存在服务器。

进一步的，所述步骤1具体包括：

(11)计算出每个节点的邻域平均度，将节点从小到大排序；选取节点的邻域平均度小于阈值α的设备用来确定服务器设备，所述阈值α的取值范围为0<α<1,确定服务器设备的待选节点集；

(12)以服务器设备待选节点集中所有节点的二维特征作为待聚类数据，其中一个维度是每个节点的关联度，另一个维度是每个节点的要塞指数；

(13)基于密度的聚类算法对待聚类数据进行聚类分析，聚类结果中，离群点属于服务器，簇内点属于终端。

进一步的，所述步骤2具体包括：

(21)针对每台服务器，找到与其通联的终端列表；

(22)收集每台服务器对应的终端列表中所有节点的三维特征作为待聚类数据，三维特征分别是通联次数、通联数据包总量以及通联数据总量；

(23)基于密度的聚类算法进行聚类分析，离群点属于NAT设备，簇内点属于主机。

进一步的，所述步骤3具体包括：

(31)对流量数据提取三元组，分别为源IP、目的IP和通信协议；

(32)若通信双方均为终端，那么通信双方至少有一方为NAT设备，并且该NAT设备后面隐藏着服务器；

(33)若源IP为服务器，目的IP为NAT设备且使用协议有TCP，那么该NAT设备后面的服务器与该服务器发生了通联；

(34)若源IP为服务器，目的IP为NAT设备，使用协议有UDP且联接模式为query而不是answer，说明该NAT设备后面的服务器向该服务器发送了query消息，证明该NAT设备后面的服务器与该服务器发生了通联。

进一步的，所述步骤1中，将不同设备之间通信产生的流量数据转化成图结构，具体包括：

所述流量数据是四元组，即源IP，目的IP，数据包数以及数据大小，每条记录表示此IP对之间的一次通信；将流量数据转化成图结构，即将设备IP地址作为节点，流量数据的通联行为作为边，边承载的信息将是一个三元组，即通联次数、通联数据包总量以及通联数据总量。

进一步的，节点度是指与该节点相关联的边的条数，又称作关联度。

进一步的，节点i的节点度k_i为：

k_i＝|{e_ij|j∈V}|

其中，V为图的节点集，e_ij表示节点i和节点j之间存在边。

进一步的，节点邻域平均度是指该节点邻域中节点的平均关联度；

节点i的节点邻域平均度h_i为：

其中，N(i)表示节点i的邻域节点集，k_j表示属于邻域N(i)的节点j的关联度。

进一步的，节点要塞指数是指遍历连通图中节点，依次遍历该节点为出发点所有的长度为2的路径，将每条路径的中间节点记录，最终每个节点出现次数定义为节点要塞指数。

进一步的，节点i的节点要塞指数f_i为：

f_i＝|Mid_{{path＝2|m,n∈V}}(i)|

其中，V为图的节点集，m和n表示图内任意两节点，{path＝2|m,n∈V}表示图中所有长度为2的路径，Mid(i)表示节点i恰好是该路径的中间节点。

有益效果：

以连续多天的流量数据作为数据集，该模型方法既能准确识别内网中存在的服务器设备、主机设备，也能以很高的准确率识别内网中的NAT设备。在此基础上，通过定性的流量分析方法判断NAT设备后面是否存在服务器。将识别为NAT设备的资产设备与先前定制的资产列表比对，可以查找未授权的NAT设备以排除网络安全隐患；将网络设备的属性和行为刻画信息提交给安全防护设备，增加辅助分析功能，以提高报警精确度。

附图说明

图1本发明的模型框架；

图2本发明图结构示例；

图3本发明识别服务器设备；

图4本发明区分NAT设备与主机；

图5本发明定性分析NAT设备。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明所述的基于被动测量的设备识别方法，整体如图1所示。图1展示了该技术的框架结构，输入是流量四元组(源IP，目的IP，流量大小，数据包数)，每条记录表示此IP对之间的一次通信。将流量数据转化成图结构，即将设备IP地址作为节点，流量数据的通联关系作为边，边承载的信息将是一个三元组(通联次数、通联数据包总量以及通联数据总量)。两次使用基于密度的聚类算法进行设备分类。

本发明提出的一种基于被动测量的设备识别方法，主要包括三个步骤：

步骤1：刻画每个节点在图中的重要程度，以此进行聚类分析，找出服务器设备；

步骤2：针对上述服务器，分别得到与其通联的终端列表，并使用明确数字刻画终端与服务器通联的流量级别，以此进行聚类分析，分离同属于终端的NAT设备和主机；

步骤3：对已经确定的NAT设备运行验证分析方法，来判断其后面是否存在服务器。

根据本发明的一个实施例，本发明所述的基于被动测量的设备识别方法，具体包括如下步骤：

步骤1:刻画每个节点在图中的重要程度，以此进行聚类分析，找出服务器设备

图2是一个简单的节点分布示例，其中两个中心节点代表两台服务器，其余围绕在四周的节点代表主机，中间边交叉部分表示这些主机与两台服务器均有通信。该过程用刻画节点角色的数据集对节点进行分类。

节点度的定义:节点度是指与该节点相关联的边的条数，又称作关联度。

节点i的节点度k_i为：

k_i＝|{e_ij|j∈V}|

其中，V为图的节点集，e_ij表示节点i和节点j之间存在边。

节点邻域平均度的定义:节点邻域平均度是指该节点邻域中节点的平均关联度。

节点i的节点邻域平均度h_i为：

其中，N(i)表示节点i的邻域节点集，k_j表示属于邻域N(i)的节点j的关联度。

节点要塞指数的定义：遍历连通图中节点，依次遍历该节点为出发点所有的长度为2的路径，将每条路径的中间节点记录，最终每个节点出现次数定义为节点要塞指数。

节点i的节点要塞指数f_i为：

f_i＝|Mid_{{path＝2|m,n∈V}}(i)|

其中，V为图的节点集，m和n表示图内任意两节点，{path＝2|m,n∈V}表示图中所有长度为2的路径，Mid(i)表示节点i恰好是该路径的中间节点。

图3给出了识别服务器设备的详细过程，具体处理过程如下：

(1)计算出每个节点的邻域平均度，将节点从小到大排序。很明显，服务器节点的邻域平均度偏小，因为邻域中的节点绝大多数是终端。其次有一个阈值α(0<α<1),表示选取前α的设备用来确定服务器，α的大小取决于实验效果。经过此过滤过程，用于明确服务器设备的节点集缩小；

(2)服务器设备待选节点集中所有节点的二维特征作为待聚类数据，其中一项是每个节点的关联度，另一项是每个节点的要塞指数；

(3)使用基于密度的聚类算法进行聚类分析，离群点属于服务器，簇内点属于终端。

步骤2:针对上述服务器，分别得到与其通联的终端列表，并使用明确数字刻画终端与服务器通联的流量级别，以此进行聚类分析，分离同属于终端的NAT设备和主机；

服务器之间存储资源和用处各不相同，所以主机对于不同服务器的流量级别也可能不同。假设通联到同一服务器的两个主机，其流量级别近似。如果一台终端的真身是NAT设备，那么它会与相应的服务器发生更多次的通联、有更多的数据包来往以及产生更大的流量。

区分NAT设备和主机的详细过程如图4所示，具体处理过程如下：

(1)针对每台服务器，找到与其通联的终端列表；

(2)收集每台服务器对应的终端列表中所有节点的三维特征作为待聚类数据，三维特征分别是通联次数、通联数据包总量以及通联数据总量；

(3)使用基于密度的聚类算法进行聚类分析，离群点属于NAT设备，簇内点属于主机。

如果某服务器对应的终端列表中不存在NAT设备，那么所有数据会形成一簇，没有离群点；相反，NAT设备对应的样本点会变为离群点而被标出。

步骤3:对已经确定的NAT设备运行验证分析方法，来判断其后面是否存在服务器，根据内网捕获流量数据的规则，流量数据中不包括主机到主机的联接记录。

验证过程如图5所示。具体判断过程如下：

(1)对流量数据提取三元组，分别为源IP、目的IP和通信协议；

(2)若通信双方均为终端，那么可以肯定通信双方至少有一方为NAT设备，并且该NAT设备后面隐藏着服务器；

(3)若源IP为服务器，目的IP为NAT设备且使用协议有TCP，那么可以肯定NAT设备后面的服务器与该服务器发生了通联；

(4)若源IP为服务器，目的IP为NAT设备，使用协议有UDP且联接模式为query而不是answer，说明NAT设备后面的服务器向该服务器发送了query消息，从而证明NAT设备后面的服务器与该服务器发生了通联。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (10)

1.一种基于被动测量的设备识别方法，其特征在于：

步骤1：不同设备之间通信产生的流量数据转化成图结构，将设备作为节点，刻画每个节点在图中的重要程度，以此进行聚类分析，找出服务器设备；

步骤2：针对上述服务器设备，分别得到与其通联的终端列表，并使用明确数字刻画终端与服务器通联的流量级别，以此进行聚类分析，分离同属于终端的主机和网络地址转换设备，即NAT设备；

步骤3：对已经确定的NAT设备运行验证分析方法，判断其后面是否存在服务器。

2.根据权利要求1所述的一种基于被动测量的设备识别方法，其特征在于：

所述步骤1具体包括：

(11)计算出每个节点的邻域平均度，将节点从小到大排序；选取节点的邻域平均度小于阈值α的设备用来确定服务器设备，所述阈值α的取值范围为0<α<1,确定服务器设备的待选节点集；

(12)以服务器设备待选节点集中所有节点的二维特征作为待聚类数据，其中一个维度是每个节点的关联度，另一个维度是每个节点的要塞指数；

(13)基于密度的聚类算法对待聚类数据进行聚类分析，聚类结果中，离群点属于服务器，簇内点属于终端。

3.根据权利要求1所述的一种基于被动测量的设备识别方法，其特征在于：

所述步骤2具体包括：

(21)针对每台服务器，找到与其通联的终端列表；

(22)收集每台服务器对应的终端列表中所有节点的三维特征作为待聚类数据，三维特征分别是通联次数、通联数据包数量以及通联数据总量；

(23)基于密度的聚类算法进行聚类分析，离群点属于NAT设备，簇内点属于主机。

4.根据权利要求1所述的一种基于被动测量的设备识别方法，其特征在于：

所述步骤3具体包括：

(31)对流量数据提取三元组，分别为源IP、目的IP和通信协议；

(32)若通信双方均为终端，那么通信双方至少有一方为NAT设备，并且该NAT设备后面隐藏着服务器；

(33)若源IP为服务器，目的IP为NAT设备且使用协议有TCP，那么该NAT设备后面的服务器与该服务器发生了通联；

(34)若源IP为服务器，目的IP为NAT设备，使用协议有UDP且联接模式为query而不是answer，说明该NAT设备后面的服务器向服务器该发送了query消息，证明该NAT设备后面的服务器与该服务器发生了通联。

5.根据权利要求1所述的一种基于被动测量的设备识别方法，其特征在于：所述步骤1中，将不同设备之间通信产生的流量数据转化成图结构，具体包括：

所述流量数据是四元组，即源IP，目的IP，流量大小，数据包数，每条记录表示此IP对之间的一次通信；将流量数据转化成图结构，即将设备IP地址作为节点，流量数据的通联行为作为边，边承载的信息将是一个三元组，即通联次数、通联数据包数量以及通联数据总量。

6.根据权利要求5所述的一种基于被动测量的设备识别方法，其特征在于：

节点度是指与该节点相关联的边的条数，又称作关联度。

7.根据权利要求6所述的一种基于被动测量的设备识别方法，其特征在于：

节点i的节点度k_i为：

k_i＝|{e_ij|j∈V}|

其中，V为图的节点集，e_ij表示节点i和节点j之间存在边。

8.根据权利要求5所述的一种基于被动测量的设备识别方法，其特征在于：

节点邻域平均度是指该节点邻域中节点的平均关联度；

节点i的节点邻域平均度h_i为：

其中，N(i)表示节点i的邻域节点集，k_j表示属于邻域N(i)的节点j的关联度。

9.根据权利要求5所述的一种基于被动测量的设备识别方法，其特征在于：

节点要塞指数是指遍历连通图中节点，依次遍历该节点为出发点所有的长度为2的路径，将每条路径的中间节点记录，最终每个节点出现次数定义为节点要塞指数。

10.根据权利要求9所述的一种基于被动测量的设备识别方法，其特征在于：

节点i的节点要塞指数f_i为：

f_i＝|Mid_{{path＝2|m,n∈V}}(i)|

其中，V为图的节点集，m和n表示图内任意两节点，{path＝2|m,n∈V}表示图中所有长度为2的路径，Mid(i)表示节点i恰好是该路径的中间节点。

Images