CN113630482A - 一种基于隐半马尔可夫的IPv6快速探测方法 - Google Patents

Abstract

本发明公开了一种基于隐半马尔可夫的IPv6快速探测方法，该方法首先通过设置主动和被动探针从公共数据集中获得活跃IPv6地址数据集；然后，IPv6地址的稳定端和不稳定端长度及其位置划分；之后，使用聚类方法进行地址聚类，最后探测目标地址集生成。通过本发明可以对活跃IPv6地址建模，预测IPv6地址的分配和使用的规律，降低地址探测的空间，提高搜寻效率，有助于提升对以IPv6为代表的未来网络的认知能力，帮助研究人员和相关监管部门对于网络行为的测量分析和IP别名分析。

Description

一种基于隐半马尔可夫的IPv6快速探测方法

技术领域

本发明涉及IPv6快速探测技术领域，尤其涉及基于隐半马尔可夫的IPv6快速探测方法。

背景技术

随着物联网、5G网络等技术的不断发展，越来越多的用户和设备都接入到互联网中，从IPv4到IPv6的过渡势在必行。由于IPv6地址空间巨大，一方面使得网络设备不容易被探测到，从而提高其安全性，另一方面由于IP地址了伴随着互联网技术的快速发展，物联网技术IPv6别名解析是发现位于同一台路由器上不同IP接口的技术，是网络拓扑推断的一个关键步骤，将因特网的逻辑拓扑转换为物理拓扑从而实现虚拟空间与现实世界映射重要方法。IPv6技术将网络接入设备的标识增加到128比特的同时，也对现有的网络测量技术带来了严峻的考验。传统的网络测量技术通过高并发和高带宽模式可以在较短的时间完成对整个IPv4互联网的遍历扫描，但是在IPv6网络中主机密度(主机总数/地址总数)非常低，采用穷举探测机制对其中活跃的地址进行扫描效率十分低下。这个问题严重制约了研究人员和相关监管部门对网络行为的测量分析。为了提高IPv6的探测效率，许多研究从公共数据集(例如DNS)或者IPv6骨干网的被动流量中提取活跃IPv6地址作为初始集合，试图通过设计目标地址集生成算法，来找出活跃概率比较高的地址作为探测目标，从而提高活跃地址的发现概率，而这些研究的核心问题在于从已知地址的数据集中挖掘出地址的分配模式。对稀疏空间地址探测问题的研究有助于提升对以IPv6为代表的未来网络的认知能力，成为网络空间测绘和网络测量领域研究的热点。

发明内容

本发明为克服现有技术存在的以上问题，提出了一种基于隐半马尔可夫的IPv6快速探测方法，利用部署主动探针(使用爬虫技术配合DNS)和被动探针(流量检测技术)相结合的方式来获得活跃地址训练集，构建正样本，同时使用主机探测技术等手段获取不活跃IPv6的地址，构建反样本，从而获得范围广的数据集。然后通过隐半马尔可夫分析和分段分割过程实现IPv6地址结构的稳定段和不稳定段的分析。优先对不稳定分段地址中的密度较高的地址范围进行探测，从而提高探测结果的命中率。为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

步骤1：从公共数据集中获得活跃IPv6地址数据集，通过部署主动和被动探针的方法收集IPv6的活跃地址；

步骤2：IPv6地址的稳定端和不稳定端长度及其位置划分，通过隐半马尔可夫分析和分段分割过程实现IPv6地址结构稳定段和不稳定段的分析；

步骤3：地址分类，引入无监督的AP(Affinity Propagation)聚类算法进行地址分类，将每个地址看做网络中的一个节点，然后通过计算和更新网络各个节点的吸引度和归属度更新节点间的距离，最后收敛为若干个中心，即为地址分类的数目；

步骤4：探测目标地址集生成，根据上述步骤的地址结构分布，优先对不稳定分段的地址分配密度较高的地址范围作为探测目标地址集，通过汉明距离来计算地址范围内的地址分布密度可以挖掘IPv6地址的分配规律，将获得的新IPv6地址加入到原始地址集中，更新分布密度，重复过程，直至完成整个探测过程；

一种基于隐半马尔可夫的IPv6快速探测方法，包括以下几个步骤：

本发明针对IPv6网络中主机密度非常低，采取穷举探测机制对活跃的地址进行扫描效率十分低下，给出了基于隐半马尔可夫的IPv6快速探测方法。该算法通过主动和被动探针来构建活跃IPv6地址训练数据集，其中D代表从公共数据集中获得活跃IPv6地址数据集，通过隐半马尔可夫分析和分段分割过程实现IPv6地址结构稳定段和不稳定段的分析，并通过无监督的AP(Affinity Propagation)聚类算法进行地址分类，然后优先对不稳定分段的地址分配密度较高的地址范围作为探测目标地址集，通过汉明距离来计算地址范围内的地址分布密度可以挖掘IPv6地址的分配规律，将获得的新IPv6地址加入到原始地址集中，更新分布密度，迭代此过程，直至完成整个探测过程，最后通过该模型能准确预测IPv6地址分配和使用的规律，缩小地址探测的空间，提高搜索效率。本发明的快速探测方法有效的提高搜索效率。

附图说明

图1为本发明的目的地址算法流程图；

图2为本发明的测量示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种基于隐半马尔可夫的IPv6快速探测方法，首先从主动探针和被动探针获得活跃IPv6地址集，采用主机探测等方法获取不活跃IPv6地址信息，以上构建正反样本；然后通过隐半马尔可夫分析和分段分割过程实现IPv6地址结构稳定段和不稳定段的分析；再然后，引入无监督的AP(Affinity Propagation)聚类算法进行地址分类，将每个地址看做网络中的一个节点，然后通过计算和更新网络各个节点的吸引度和归属度更新节点间的距离，最后收敛为若干个中心，即为地址分类的数目；最后，先对不稳定分段的地址分配密度较高的地址范围作为探测目标地址集，通过汉明距离来计算地址范围内的地址分布密度可以挖掘IPv6地址的分配规律，将获得的新IPv6地址加入到原始地址集中，更新分布密度，迭代此过程，直至完成整个探测过程。详细的算法流程包括以下几个步骤：

步骤一：从公共数据集中获得活跃IPv6地址数据集，表示为：

D←Combine(AC，PA) (1)

其中，D表示IPv6地址数据集合，AC表示主动探针获得的活跃地址，通过爬虫等方式，从Alexa等网站中爬取Web服务器等域名信息，然后结合DNS解析获取服务器所对应的IPv6地址，PA表示被动探针获得的活跃地址要采用流量监测技术，对CERNET2等骨干网流量进行采样，提取出其中的源地址信息，从而构建初始的正样本。

步骤二：基于隐半马尔可夫的IPv6快速探测方法，其特征在于：所述步骤2中，IPv6地址的稳定端和不稳定端长度及其位置划分，通过隐半马尔可夫分析和分段分割过程实现IPv6地址结构稳定段和不稳定段的分析，

采用信息熵进行IPv6地址分析，设置如下几个限制条件：

(1)地址集合D中地址前缀相同

(2)D中地址为无冒号的

(3)应用信息熵到地址集合D

(4)应用信息熵到D中单条地址

于单条地址，本文提出针对特定前缀提出内部熵的概念来计算单条地址内部的熵值变化来量化子网编址间的区别。

Inner_pos∈{x|x∈[16,32],x∈Z}

Inner_pos_i∈{P_j|j∈[0,f],j∈Z}

当信息熵作用到整个地址集合D时，X＝{1,2,3,…,32}，统计每个位置上的信息并利用公式(1-2)来进行信息熵的计算。而当利用内部熵概念到某/64的单条地址内部时，X＝{16，17，18，…，32}，统计每条地址子网标识各数值占比并计算地址内部熵值。

相似度计算：

将特定地址集合中的IPv6地址转换为长整型数值型数据，并计算两两间的差值，并将其可视化进行数值分布的分析操作。

算法1.该算法将IPv6地址转换为数值型数据

输入：IPv6地址字符表示

输出：IPv6地址数值表示

该算法主要利用位运算的做法来加快地址到数字的转化效率，对比循环和映射函数的效率，发现在几百万数量级的数据上，映射函数的运行速度比循环可快10k数量级。

对转换完得到的数字递增的存放在list中，然后将第一个数字看成0，剩下的数字都做减掉前一个数字的操作。

得到IPv6地址的数值型表示后，按前文描述将其转换为差值存放于list中，鉴于转换为数值型数据太长，所以给定相似度是以满足同一前缀时，按地址差值形式给出相似度计量。

首先在参数估计中采用最大似然估计方法，对状态转移概率、输出概率以及分段长度进行估计，同时将分段划分为固定位置的分段和位置变化的分段，模型表示为；

λ＝(A,B,P,π) (2)

其中，A表示状态之间的转移概率，B表示隐含状态的输出概率，P表示状态持续分布，π表示初始概率。

7、步骤三：入无监督的AP(Affinity Propagation)聚类算法进行地址分类，将每个地址看做网络中的一个节点，然后通过计算和更新网络各个节点的吸引度和归属度更新节点间的距离，后收敛为若干个中心，即为地址分类的数目，在相同类别的地址中，再根据地址内容的变化对稳定分段和不稳定分段进行划分，完成整个地址结构的分析。

表示为；

D＝{IP^C ₁,IP^C ₂,…,IP^C _n} (3)

步骤四：探测目标地址集生成，要基于上一节中得到的地址结构分布，优先对不稳定分段的地址范围进行探测，同时结果不稳定分段中地址分布密度来优先选择密度较高的地址范围作为探测目标地址集，这里的探测目标地址集为不在原始IPv6地址集中，但是属于该地址范围内的地址。采用这种探测目标地址集生成方法的原因在于IPv6地址在分配过程中会以地址块的方式来进行，通过汉明距离来计算地址范围内的地址分布密度可以挖掘IPv6地址的分配规律，从而提高探测结果的命中率。

对目标地址集完成探测之后，将获得的新IPv6地址加入到原始地址集中，然后对各个地址范围内的分布密度进行更新，并重复上一步过程，选择更新后地址分布密度最大的地址范围进行探测，直至完成整个探测过程。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于隐半马尔可夫的IPv6快速探测方法，其特征在于：包括：

步骤1：从公共数据集中获得活跃IPv6地址数据集，通过部署主动和被动探针的方法收集IPv6的活跃地址；

步骤2：IPv6地址的稳定端和不稳定端长度及其位置划分，通过隐半马尔可夫分析和分段分割过程实现IPv6地址结构稳定段和不稳定段的分析；

步骤3：地址分类，引入无监督的AP(Affinity Propagation)聚类算法进行地址分类，将每个地址看做网络中的一个节点，然后通过计算和更新网络各个节点的吸引度和归属度更新节点间的距离，最后收敛为若干个中心，即为地址分类的数目；

步骤4：探测目标地址集生成，根据上述步骤的地址结构分布，优先对不稳定分段的地址分配密度较高的地址范围作为探测目标地址集，通过汉明距离来计算地址范围内的地址分布密度可以挖掘IPv6地址的分配规律，将获得的新IPv6地址加入到原始地址集中，更新分布密度，重复过程，直至完成整个探测过程。

2.如权利要求1所述的基于隐半马尔可夫的IPv6快速探测方法，其特征在于：所述步骤1中，从公共数据集中获得活跃IPv6地址数据集，表示为；

D←Combine(AC，PA) (1)

其中，D表示IPv6地址数据集合，AC表示主动探针获得的活跃地址，PA表示被动探针获得的活跃地址。

3.如权利要求1所述的基于隐半马尔可夫的IPv6快速探测方法，其特征在于：所述步骤2中，IPv6地址的稳定端和不稳定端长度及其位置划分，通过隐半马尔可夫分析和分段分割过程实现IPv6地址结构稳定段和不稳定段的分析；

首先在参数估计中采用最大似然估计方法，对状态转移概率、输出概率以及分段长度进行估计，同时将分段划分为固定位置的分段和位置变化的分段，模型表示为；

λ＝(A,B,P,π)

其中，A表示状态之间的转移概率，B表示隐含状态的输出概率，P表示状态持续分布，π表示初始概率；

IPv6地址由一系列分段构成，用m＝{f₁,f₂,…,f_N}来表示，每个分段f_n对应为一个状态i_n，其持续长度为d_n，a_in,in+1表示从状态i_n到状态i_n+1的转移概率。

4.如权利要求1所述的基于隐半马尔可夫的IPv6快速探测方法，其特征在于：所述步骤3中，引入无监督的AP(Affinity Propagation)聚类算法进行地址分类，将每个地址看做网络中的一个节点，然后通过计算和更新网络各个节点的吸引度和归属度更新节点间的距离，后收敛为若干个中心，即为地址分类的数目，在相同类别的地址中，再根据地址内容的变化对稳定分段和不稳定分段进行划分，完成整个地址结构的分析；

表示为；

D＝{IP^C ₁,IP^C ₂,…,IP^C _n} (3) 。

5.如权利要求1所述的基于隐半马尔可夫的IPv6快速探测方法，其特征在于：所述步骤4中，探测目标地址集生成，要基于上一节中得到的地址结构分布，优先对不稳定分段的地址范围进行探测，同时结果不稳定分段中地址分布密度来优先选择密度较高的地址范围作为探测目标地址集，这里的探测目标地址集为不在原始IPv6地址集中，但是属于该地址范围内的地址，采用这种探测目标地址集生成方法的原因在于IPv6地址在分配过程中会以地址块的方式来进行，通过汉明距离来计算地址范围内的地址分布密度可以挖掘IPv6地址的分配规律，从而提高探测结果的命中率。

6.如权利要求1所述的基于隐半马尔可夫的IPv6快速探测方法，其特征在于：对目标地址集完成探测之后，将获得的新IPv6地址加入到原始地址集中，然后对各个地址范围内的分布密度进行更新，并重复上一步过程，选择更新后地址分布密度最大的地址范围进行探测，直至完成整个探测过程。

Images