CN105430109A - 一种基于流行为特征的互联网数据中心ip地址查找方法 - Google Patents

Abstract

本发明公开了一种基于流行为特征的互联网数据中心IP地址查找方法，根据互联网数据中心特有的流行为特征，在大规模网络流信息中，对互联网数据中心的IP进行挖掘，从而全面提取、描述互联网数据中心的业务承载内容及其之间的连接关系，并证明了根据流行为特征能够有效地从大数据流信息中对特定IP进行挖掘。

Description

一种基于流行为特征的互联网数据中心IP地址查找方法

技术领域

本发明属于通信网络技术领域，具体涉及一种基于流行为特征的互联网数据中心IP地址查找方法的设计。

背景技术

在通信网络中，网络流是指通过网络传输的具有某种特定属性的分组序列。特定属性可以根据研究的需要来确定，如具有相同五元组(源主机IP地址、目的主机IP地址、源主机端口号、目的主机端口号和通信协议)的流信息序列聚合成承载网络信息的一条网络流。

网络流行为特征(networkflowbehavior)通常指多个或单个网络流所表现出来的行为特征，是指特定环境下网络中流的行为特征，包括网络流的产生特征、网络流的运行特征、网络流之间的关系特征及其特征参数的变化等；网络流行为特征模式指网络流行为所表现出来的可识别并且可以对网络流起到标识作用的属性规律。流的连接行为特征刻画了网络中实体之间的连接模式，描述网络实体之间的交互行为模式，例如通信网络中用户之间的交互行为，社交网络中对象间的关系等。通过提取主机通信交互的连接特征，分析网络流的连接模式以及构建应用行为、用户以及其他网络实体的连接趋势的模型等手段可以获得全面准确的通信网络流行为特征及其变化特征，对提高网络管理和监控具有十分重要的意义。

网络流行为可视化是使用节点和连线组成的图形来表示通信网络主机之间的交互行为，根据不同类型的研究需求利用可视化技术将网络主机之间的连接关系抽象成计算机屏幕上的图形。目前对于网络流行为的可视化技术较为简单，大部分研究人员都聚焦在可视化的布局算法，在网络主机之间的流连接量、端口开放的种类数等流信息属性方面有待于更深一步的研究。

互联网数据中心(IDC-InternetDataCenter)是指对入驻企业、商户或网站服务器群托管的场所，它是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业合作伙伴(包括分销商、供应商、客户等)实施价值链管理的平台，它为企业和各类网站提供大规模、高质量、安全可靠的专业化业务，包括服务器托管、空间租用、网络带宽批发以及电子商务等。其具体业务涵盖也伴随着互联网的不断发展而发展。

随着现代技术的不断发展，企业也在不断地扩展，用户需要的已经不仅仅是机房，而是更多的增值服务，它们需要服务商提供安全性分析、数据流分析、资源占用分析等关键性业务分析。同样，他们需要的也不仅仅是单一的IDC服务，而是全套的网络服务解决方案。要实现这一切，既要包括基础的网络平台建设，又需要有系统维护、安全保证等多方面的技术支持，这也为IDC的发展提出了更高的要求。

由于图挖掘技术在可视化以及连接模式的刻画等方面具备的优势，已经普遍被运用于刻画网络流的连接关系特征。

网络流量传播图(TDG)在2007年由MariosIliofotou和MichalisFaloutsos等提出。TDG是刻画网络主机之间不同应用交互的流量传播图，其中网络主机映射为图形的节点，主机之间的交互行为映射为图形的边。网络流量传播图能够描述不同应用行为的流连接关系特征，但无法准确、高效地刻画大规模通信网络的流连接关系。

发明内容

本发明的目的是为了解决现有技术中网络流量传播图无法准确、高效地刻画大规模通信网络的流连接关系的问题，提出了一种基于流行为特征的互联网数据中心IP地址查找方法。

本发明的技术方案为：一种基于流行为特征的互联网数据中心IP地址查找方法，包括以下步骤：

S1、从互联网出口获取流数据；

S2、对频繁IP进行挖掘；

S3、对疑似目标IP进行挖掘；

S4、对IP地址块进行聚合；

S5、确定互联网数据中心的规模、地理位置及服务类型。

进一步地，步骤S2包括以下分步骤：

S21、建立以{IP地址，端口号，传输层协议号}为索引的字典，对于每一组特定的{IP地址，端口号，传输层协议号}，将同时符合以下条件的流f加入该索引的索引内容：

(1)流f中源IP或目的IP与索引IP相同；

(2)流f中源端口号或目的端口号与索引端口号相同；

(3)流f中传输层协议号等于索引传输层协议号；

S22、计算索引内容中每个IP的四种参数：访问量、被访问量、上行流量以及下行流量；

S23、统计每个IP的上述四种参数，提取每种参数排名靠前的IP集合，对四个集合求并集，得到频繁IP集合。

进一步地，步骤S3中采用基于特定应用流分析的方法对疑似目标IP进行挖掘，具体为：

根据步骤S21中建立的索引字典结构，统计频繁IP的访问/被访问端口种类数，提取开放端口种类单一的IP，对其进行反向DNS查询，若返回多种域名，则将其标记为互联网数据中心疑似目标IP。

进一步地，步骤S3中采用基于多种应用流分析的方法对疑似目标IP进行挖掘，具体为：

根据步骤S21中建立的索引字典结构，统计频繁IP的访问/被访问端口种类数，提取开放端口具有多个种类的IP，根据其负载特征字符串对该IP的流进行分类，判断该IP开放的应用种类，若提供了多种应用服务种类，则将其标记为互联网数据中心疑似目标IP。

进一步地，步骤S4中采用基于IP关联度的方法对IP地址块进行聚合，具体包括以下分步骤：

S4A1、建立目标IP向量F＝(IP地址，IP地理位置经纬度)；

S4A2、对F中任意两个IP地址进行与运算，计算其相同的前N位IP数，返回数值N作为二者IP的匹配度，并对匹配度进行归一化处理；

S4A3、计算两个IP之间的关联度；

S4A4、提取关联度较高的IP，构成IP地址块集合。

进一步地，步骤S4中采用基于频繁IP的网络流连接图共引网络的方法对IP地址块进行聚合，具体包括以下分步骤：

S4B1、构建频繁IP的网络流连接图；

S4B2、生成频繁IP网络流连接图的共引网络；

S4B3、对频繁IP网络流连接图的共引网络进行社团划分；

S4B4、对划分出的频繁IP地址块进行聚合，形成IP簇。

进一步地，步骤S5具体为：

采用GeoIP技术确定IP地址块的地理位置，将相似地理位置的IP地址块聚合到一起，寻找包含这些IP地址块的最小网络地址，其主机数即为互联网数据中心的IP数量，其所在地即为互联网数据中心的地理位置；

互联网数据中心的服务类型可通过主动访问其IP进行确定，通过计算机主动探寻这些IP，根据DNS返回值或IP服务器返回内容确定该IP的服务类型，验证得到其所在互联网数据中心的服务内容。

本发明的有益效果是：本发明首次提出了利用IP流行为分析查找互联网数据中心的IP，开拓了一种新的基于流行为的特定IP查找方法。由于一条流的确定只需要获取网络中包的头文件，并不需要包内容，因此不涉及用户隐私，以公开透明的方式确定特定目标，可以带来如下有益效果：

(1)准确查找互联网数据中心IP，获取各互联网数据中心之间的流连接关系，便于在互联网全网范围内的对互联网数据中心进行资源优化与分配。

(2)供互联网数据中心IP以监视其竞争对手流量、服务类型等，有利于监测方针对竞争对手的信息制定自身的商业策略。

(3)利用相似的方法可针对不同类型IP进行查找与发现，有利于网络情报的获取与挖掘。

附图说明

图1为本发明提供的一种基于流行为特征的互联网数据中心IP地址查找方法流程图。

图2为本发明步骤S2的分步骤流程图。

图3为本发明步骤S4中基于IP关联度的IP地址块聚合方法流程图。

图4为本发明步骤S4中基于频繁IP的网络流连接图共引网络的IP地址块聚合方法流程图。

图5为本发明实施例中1000条FCDR流文件生成的网络流连接图。

图6为根据图5的互联网数据中心网络流连接图生成的共引网络图。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

互联网数据中心(IDC-InternetDataCenter)是指对入驻企业、商户或网站服务器群托管的场所，它为企业和各类网站提供大规模、高质量、安全可靠的专业化业务，包括服务器托管、空间租用、网络带宽批发以及电子商务等。其具体业务涵盖也伴随着互联网的不断发展而发展。

互联网数据中心的IP具有如下特征：

(1)IP地址数繁多。

(2)同一IP可能为多种应用提供服务，即出现多种应用流。

(3)IP地址多为同一地址块，便于APNIC(亚太互联网络信息中心)统一分发管理。

互联网数据中心的流行为具有如下特征：

(1)互联网数据中心的流量大且应用流种类繁多。

(2)互联网数据中心的服务器通常24小时工作，因此IP的生存时间长。

(3)在长时间范围内，互联网数据中心的某一IP流量相对稳定。

(4)属于同一互联网数据中心的不同IP地址连接紧密，用户在短时间内可能访问多个属于同一IDC的IP。

针对互联网数据中心的IP及流行为特征，本发明提供了一种基于流行为特征的互联网数据中心IP地址查找方法，如图1所示，包括以下步骤：

S1、从互联网出口获取流数据。

S2、对频繁IP进行挖掘。

频繁IP指在一段时间内的流文件中，频繁出现的IP地址，即流量高、访问次数高的IP地址。频繁IP存在多种衡量指标，例如访问次数高的IP(网站IP)、访问流量巨大的IP等。根据互联网数据中心流量大且应用流种类繁多的特点，挖掘大数据流文件中出现频繁的IP，该IP不一定属于互联网数据中心，但是互联网数据中心的IP一定存在于这样的频繁IP集合中。

本发明实施例中，采用三元组(IP地址，端口号，传输层协议号)刻画一个数据流集合来对频繁IP进行挖掘，如图2所示，该步骤包括以下分步骤：

S21、建立以{IP地址，端口号，传输层协议号}为索引的字典，对于每一组特定的{IP地址，端口号，传输层协议号}，将同时符合以下条件的流f加入该索引的索引内容：

(1)流f中源IP或目的IP与索引IP相同。

(2)流f中源端口号或目的端口号与索引端口号相同。

(3)流f中传输层协议号等于索引传输层协议号。

例如，构建如下索引号为{192.168.1.90(IP)，80(端口号)，6(TCP协议)}的字典：

S22、计算索引内容中每个IP的四种参数：访问量、被访问量、上行流量以及下行流量。

(1)访问量：在字典中，将发送间隔小于64秒且具有相同五元组的包聚合为一条流，统计一段时间内，以目标IP为源IP的流数目，即这段时间内目标IP的访问量。

(2)被访问量：在字典中，将发送间隔小于64秒且具有相同五元组的包聚合为一条流，统计一段时间内，以目标IP为目的IP的流数目，即这段时间内目标IP的被访问量。

(3)上行流量：统计一段时间内，字典中以目标IP为源IP的包大小之和，即这段时间内目标IP的上行流量。

(4)下行流量：统计一段时间内，字典中以目标IP为目的IP的包大小之和，即这段时间内目标IP的下行流量。

S23、统计每个IP的上述四种参数，提取每种参数排名靠前的IP集合，对四个集合求并集，得到频繁IP集合。

频繁IP集合中的IP必具有高访问量、高被访问量、高上行流量或高下行流量中的一种或几种特征。根据互联网数据中心IP流量大的特点，其IP必然包含在频繁IP集合中。

针对上述四种参数的集合，还可互相求并集以确定特殊IP集合，供其他后续研究，例如高访问量、高被访问量IP集合，高访问量、高上行流量IP集合，高被访问量、高下行流量IP集合，高访问量、低上行流量IP集合，高被访问量、低下行流量IP集合等。

S3、对疑似目标IP进行挖掘。

根据互联网数据中心的IP流特征，本发明实施例中该步骤具体分为基于特定应用流分析的IP挖掘和基于多种应用流分析的IP挖掘两种：

(1)基于特定应用流分析的IP挖掘。

互联网数据中心存在承载不同应用商，但相同应用服务的服务器，例如WEB服务器；该类服务器的IP对应多种域名，即此IP对多个服务商提供相同服务，同时IP开放端口种类单一，如只开放80端口；因此可采用反向DNS查询与端口统计相结合的方式挖掘此类IP。

根据步骤S21中建立的索引字典结构，统计频繁IP的访问/被访问端口种类数，提取开放端口种类单一的IP，对其进行反向DNS查询，若返回多种域名，则将其标记为互联网数据中心疑似目标IP。

(2)基于多种应用流分析的IP挖掘。

由于互联网数据中心的服务器承载多中应用，其服务器IP表现出的应用流多样，在网络流中具体表现为端口号的不同，因此通过可计算某一IP开放的端口数量，在频繁IP集合中挖掘承载多种应用流的IP，标记为高度疑似互联网数据中心的IP，对该IP进行后续研究。

根据步骤S21中建立的索引字典结构，统计频繁IP的访问/被访问端口种类数，提取开放端口具有多个种类的IP，根据其负载特征字符串对该IP的流进行分类，判断该IP开放的应用种类，若提供了多种应用服务种类，则将其标记为互联网数据中心疑似目标IP。

S4、对IP地址块进行聚合。

本发明实施例中该步骤具体分为基于IP关联度的IP地址块聚合方法和基于频繁IP的网络流连接图共引网络的IP地址块聚合方法：

(1)基于IP关联度的IP地址块聚合方法。

互联网数据中心的IP地址多为同一地址块，便于APNIC(亚太互联网络信息中心)统一分发管理，因此可在频繁IP中将同一IP网络地址块的IP进行聚合，发现互联网数据中心的IP地址集合。

IP关联度由IP地址之间的匹配度及地理位置的二维空间距离所决定，如图3所示，具体步骤如下：

S4A1、建立目标IP向量F＝(IP地址，IP地理位置经纬度)，其中IP地址为IP的二进制表示，IP地理位置经纬度可由maxmind公司的GeoIP2City库查询得到。

S4A2、对F中任意两个IP地址进行与运算，计算其相同的前N位IP数，返回数值N作为二者IP的匹配度，例如：

192.168.1.105＝(11000000.10101000.00000001.01101001)

192.168.32.120＝(11000000.10101000.00100000.01111000)

对这两个IP进行与运算，得到11111111111111111101111010010110，其前面有18个连续的1，说明两个IP的前18位相同，则返回N＝18作为二者IP的匹配度。

对匹配度进行归一化处理，即得到

S4A3、计算两个IP之间的关联度r，r由IP地址匹配度和地理位置距离决定，其中IP地址匹配度即为最长IP地址匹配算法返回的两个IP之间的归一化匹配度p，地理位置距离由经纬度之差的平方和开根号决定，则其中，p为IP归一化匹配度，d为IP地理位置距离。

S4A4、提取关联度较高的IP，构成IP地址块集合。

IP关联度r求出后，可采取阈值筛选的方式提取关联度较高的IP，构成IP地址块集合。确定阈值向量例如聚合C类地址块，则若两个IP的r>T，则将其划分为同一地址块。

(2)基于频繁IP的网络流连接图共引网络的IP地址块聚合方法。

由于用户在短时间内可能访问多个属于同一互联网数据中心的IP，因此可根据互联网数据中IP之间的流连接行为对IP进行查找与聚合。

网络流连接图是以网络中通信对象为节点，节点之间的交互为边，刻画网络中交互关系的示意图。将网络中的通信实体抽象为图中的节点v_i∈V，若节点v_i，v_j之间有通信交互则将对应的节点连成一条边e_ij∈E，构建网络流连接图G＝＜V,E＞。本发明实施例采用基于频繁IP的网络流连接图共引网络，对互联网数据中心的IP进行聚合，如图4所示，具体步骤如下：

S4B1、构建频繁IP的网络流连接图。

以所有频繁IP为目的IP，提取疑似目标IP为目的IP的所有流，生成网络流连接图。该图为有向图，其中所有连接均为用户指向疑似目标IP。

如图5所示为根据某公司1000条FCDR流文件生成的网络流连接图，协议为HTTP访问协议，其中源节点为用户节点，目的节点为服务器节点，则我们可以得出以下结论：

(1)大部分网络流成星型结构，符合HTTP典型的客户端/服务器结构，即多个用户在短时间内访问同一大型的HTTP服务器。

(2)图中存在节点多条边的情况存在，说明某个用户在短时间内多次访问HTTP服务器。

(3)如矩形框中的节点所示，图中存在用户同时访问两个服务器的情况，说明疑似目标IP的节点是存在的。

从网络流连接图中，不仅可以获取互联网数据中心服务器疑似目标IP，同时可以了解应用协议自身的特点，对网络流行为分析具有巨大的贡献。

S4B2、生成频繁IP网络流连接图的共引网络。

若某两个频繁IP同时被同一用户访问，则这两个频繁IP之间会生成一条边，边的权值表示被多少个相同用户访问，即若有500个用户访问了IP₁和IP₂，则IP₁和IP₂会生成权值为500的边。

如图6所示为根据图5的互联网数据中心网络流连接图生成的共引网络图，其中矩形节点表示IDC服务器IP，10.0.0.200为用户接入代理IP，1000条流中生成7个节点，除去接入的代理IP，IDC服务器的IP覆盖率为50％。

S4B3、对频繁IP网络流连接图的共引网络进行社团划分。

对生成的频繁IP网络流连接图的共引网络图进行社团划分，采用基于模块度的社团检测方法，计算共引网络的模块度，再以上述互联网数据中心疑似IP为中心，寻求模块度的最大解，对频繁IP进行社团划分。

S4B4、对划分出的频繁IP地址块进行聚合，形成IP簇。

寻找包含IP簇的最小IP地址块，以该IP地址块表示互联网数据中心IP块。

S5、确定互联网数据中心的规模、地理位置及服务类型。

采用GeoIP技术确定IP地址块的地理位置，将相似地理位置的IP地址块聚合到一起，寻找包含这些IP地址块的最小网络地址，其主机数即为互联网数据中心的IP数量，其所在地即为互联网数据中心的地理位置；

互联网数据中心的服务类型可通过主动访问其IP进行确定，通过计算机主动探寻这些IP，根据DNS返回值或IP服务器返回内容确定该IP的服务类型，验证得到其所在互联网数据中心的服务内容。

下表是使用本发明提供的基于流行为特征的互联网数据中心IP地址查找方法从1000条流文件中寻找出的互联网数据中心服务器IP，经过IP块定位及承载业务确定后的结果，虽然数据有限，但查找结果十分可观，说明本方法的可行性较高，较为可靠。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种基于流行为特征的互联网数据中心IP地址查找方法，其特征在于，包括以下步骤：

S1、从互联网出口获取流数据；

S2、对频繁IP进行挖掘；

S3、对疑似目标IP进行挖掘；

S4、对IP地址块进行聚合；

S5、确定互联网数据中心的规模、地理位置及服务类型。

2.根据权利要求1所述的基于流行为特征的互联网数据中心IP地址查找方法，其特征在于，所述步骤S2包括以下分步骤：

S21、建立以{IP地址，端口号，传输层协议号}为索引的字典，对于每一组特定的{IP地址，端口号，传输层协议号}，将同时符合以下条件的流f加入该索引的索引内容：

(1)流f中源IP或目的IP与索引IP相同；

(2)流f中源端口号或目的端口号与索引端口号相同；

(3)流f中传输层协议号等于索引传输层协议号；

S22、计算索引内容中每个IP的四种参数：访问量、被访问量、上行流量以及下行流量；

S23、统计每个IP的上述四种参数，提取每种参数排名靠前的IP集合，对四个集合求并集，得到频繁IP集合。

3.根据权利要求2所述的基于流行为特征的互联网数据中心IP地址查找方法，其特征在于，所述步骤S3中采用基于特定应用流分析的方法对疑似目标IP进行挖掘，具体为：

根据步骤S21中建立的索引字典结构，统计频繁IP的访问/被访问端口种类数，提取开放端口种类单一的IP，对其进行反向DNS查询，若返回多种域名，则将其标记为互联网数据中心疑似目标IP。

4.根据权利要求2所述的基于流行为特征的互联网数据中心IP地址查找方法，其特征在于，所述步骤S3中采用基于多种应用流分析的方法对疑似目标IP进行挖掘，具体为：

根据步骤S21中建立的索引字典结构，统计频繁IP的访问/被访问端口种类数，提取开放端口具有多个种类的IP，根据其负载特征字符串对该IP的流进行分类，判断该IP开放的应用种类，若提供了多种应用服务种类，则将其标记为互联网数据中心疑似目标IP。

5.根据权利要求1所述的基于流行为特征的互联网数据中心IP地址查找方法，其特征在于，所述步骤S4中采用基于IP关联度的方法对IP地址块进行聚合，具体包括以下分步骤：

S4A1、建立目标IP向量F＝(IP地址，IP地理位置经纬度)；

S4A2、对F中任意两个IP地址进行与运算，计算其相同的前N位IP数，返回数值N作为二者IP的匹配度，并对匹配度进行归一化处理；

S4A3、计算两个IP之间的关联度；

S4A4、提取关联度较高的IP，构成IP地址块集合。

6.根据权利要求1所述的基于流行为特征的互联网数据中心IP地址查找方法，其特征在于，所述步骤S4中采用基于频繁IP的网络流连接图共引网络的方法对IP地址块进行聚合，具体包括以下分步骤：

S4B1、构建频繁IP的网络流连接图；

S4B2、生成频繁IP网络流连接图的共引网络；

S4B3、对频繁IP网络流连接图的共引网络进行社团划分；

S4B4、对划分出的频繁IP地址块进行聚合，形成IP簇。

7.根据权利要求1-6任一所述的基于流行为特征的互联网数据中心IP地址查找方法，其特征在于，所述步骤S5具体为：

采用GeoIP技术确定IP地址块的地理位置，将相似地理位置的IP地址块聚合到一起，寻找包含这些IP地址块的最小网络地址，其主机数即为互联网数据中心的IP数量，其所在地即为互联网数据中心的地理位置；

互联网数据中心的服务类型可通过主动访问其IP进行确定，通过计算机主动探寻这些IP，根据DNS返回值或IP服务器返回内容确定该IP的服务类型，验证得到其所在互联网数据中心的服务内容。