CN105577477B - 使用概率模型的基于测量的ip地址地理定位系统 - Google Patents

Abstract

使用概率模型的基于测量的IP地址地理定位系统，涉及IP地址地理定位领域。本发明为了解决现有IP地理定位技术完全依赖于注册信息、需要长期维护的问题。本发明包括：用于调度网络内测量点测量到目标IP地址的网络延迟数据，并采集网络延迟数据的网络延迟数据采集模块；用于对收集到的网络延迟数据进行预处理的数据预处理模块；用于对不同运营商网络内的真实延迟‑距离数据进行统计分析并得到不同网络内的延迟‑距离相关性概率模型的延迟‑距离数据分析模块；用于借助延迟‑距离相关性概率模型对指定的待测目标IP地址进行定位的定位模块。本发明适用于IP地址的地理定位领域。

Description

使用概率模型的基于测量的IP地址地理定位系统

技术领域

本发明涉及IP地址地理定位领域。

背景技术

IP地理定位技术，作为当前网络基础研究领域的热点之一，仍在不断的探索和尝试之中。基于测量的地理定位技术可以说是热点之中的热点，近几年来，不断有新的进展。随着网络服务的多样化，对用户地理位置信息的需求也越来越大，比如对网络购物和广告投放等网络服务，确定用户的地理位置可以带来直接的经济效益。另外在安全领域和学术领域，IP地理定位技术也有着诸多重要用途。可以说对IP地理定位技术的研究具有很大的学术和实用价值。

现有IP地理定位技术一般利用公开或非公开的网络相关注册信息来推断一个IP地址的地理位置，较为成熟、使用较为广泛的包括MaxMind、GeoIPView等，另外国内还有一些流行的地理位置信息数据库，如QQWry、纯真等，这些现有技术和工具已经可以给出较为准确的地理位置估计，但是他们有一个共同的问题，就是IP地址具有极大的动态性，网络注册信息也不是一成不变的，因此要保证其定位的准确性，其数据必须不断更新，需要长期维护，另外，很多相关注册信息是需要从网络运营商处购买的。

发明内容

本发明的目的是为了解决现有IP地理定位技术完全依赖于注册信息、需要长期维护的问题。

使用概率模型的基于测量的IP地址地理定位系统，包括以下模块：

网络延迟数据采集模块，用于调度网络内测量点测量到目标IP地址的网络延迟数据，并采集网络延迟数据；

网络延迟数据采集模块负责数据的采集工作，所采集的数据为各个测量点到目标IP地址或地址列表的网络延迟数据，即ping测量的结果；本模块涉及到多个固定的测量点，这些测量点的准确地理位置已知，网络延迟数据采集模块统一调度多个固定的测量点，完成测量任务，并将测量结果进行收集；采集的数据作为后期建模或者定位的依据；

数据预处理模块，用于对网络延迟数据采集模块收集到的网络延迟数据进行预处理，得到网络延迟与地理距离相对应的延迟-距离数据；

延迟-距离数据分析模块，用于对不同运营商网络内的真实延迟-距离数据进行统计分析，得到不同网络内的延迟-距离相关性概率模型；

定位模块，用于借助延迟-距离相关性概率模型对指定的待测目标IP地址进行定位；

定位模块调用网络延迟数据采集模块，从多个测量点对待测目标IP地址进行网络延迟测量，并根据网络延迟数据，使用延迟-距离相关性概率模型对待测目标IP地址进行地理定位。

使用概率模型的基于测量的IP地址地理定位系统，还包括可视化模块，用于对定位模块的定位结果进行可视化的显示。

本发明具有以下有益效果：

在定位准确度上，本发明已经能够给出城市级较准确的定位结果，与现有技术不相上下。另外，本技术使用了机器学习的方法，从真实数据中提取出用于定位的概率模型，实践证明，这是十分科学有效的，也从理论上支持了本技术。使用中国网通网络内的延迟-距离相关性概率模型对大量中国网通网络内的IP地址进行了定位实验，我们以某开放IP地理位置信息库的信息作为IP地址的真实地理位置，所有目标IP地址的定位结果中，90％的定位结果与真实地理位置的距离都在300公里以内，即误差在300公里以内，60％的结果误差在100公里以内，证明本方法能有效的对IP地址进行地理定位，且具有城市级的定位精度。

本专利所提出的是一种基于网络测量的IP地理定位技术，相比较于现有的基于注册信息的技术的IP地理定位技术，本发明显著优势就是不依赖于注册信息，并且其定位结果具有时效性；本发明依据的是当前网络测量结果，无需进行长期维护，大量节省了维护的成本。同时，本发明的测量代价小，相比现有的方法测量代价节省70％以上。

同时，本发明的定位方法实施起来非常简单，只需具备网络测量条件即可。

附图说明

图1为本发明定位系统的结构图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，

使用概率模型的基于测量的IP地址地理定位系统，包括以下模块：

网络延迟数据采集模块，用于调度网络内测量点测量到目标IP地址的网络延迟数据，并采集网络延迟数据；

网络延迟数据采集模块负责数据的采集工作，所采集的数据为各个测量点到目标IP地址或地址列表的网络延迟数据，即ping测量的结果；本模块涉及到多个固定的测量点，这些测量点的准确地理位置已知，网络延迟数据采集模块统一调度多个固定的测量点，完成测量任务，并将测量结果进行收集；采集的数据作为后期建模或者定位的依据；

数据预处理模块，用于对网络延迟数据采集模块收集到的网络延迟数据进行预处理，得到网络延迟与地理距离相对应的延迟-距离数据；

延迟-距离数据分析模块，用于对不同运营商网络内的真实延迟-距离数据进行统计分析，得到不同网络内的延迟-距离相关性概率模型；

定位模块，用于借助延迟-距离相关性概率模型对指定的待测目标IP地址进行定位；

定位模块调用网络延迟数据采集模块，从多个测量点对待测目标IP地址进行网络延迟测量，并根据网络延迟数据，使用延迟-距离相关性概率模型对待测目标IP地址进行地理定位。

具体实施方式二：结合图1说明本实施方式，

本实施方式所述系统还包括可视化模块，用于对定位模块的定位结果进行可视化的显示。

其他模块和参数与具体实施方式一相同。

具体实施方式三：

本实施方式所述的数据预处理模块包括数据筛选子模块和地理位置标注子模块：

数据筛选子模块，用于对网络延迟数据进行筛选，筛选出具有可靠网络延迟数据的目标IP地址及相应网络延迟数据；

地理位置标注子模块，用于对具有可靠网络延迟数据的目标IP地址进行地理位置标注，根据相应测量点的位置，得到网络延迟与地理距离相对应的延迟‐距离数据。

其他模块和参数与具体实施方式一或二相同。

具体实施方式四：

本实施方式所述的数据筛选子模块筛选出具有可靠网络延迟数据的目标IP地址及相应网络延迟数据的具体步骤如下：

网络延迟数据采集模块从每一个测量点对每一个目标IP地址进行多次网络延迟测量，所述网络延迟数据为一个测量点上得到的数据，所述测量结果为从一个测量点上进行的对所有目标IP地址的网络延迟测量的测量结果，所有测量点上得到的网络延迟数据都要进行如下筛选：

数据筛选子模块对每个目标IP地址的多次测量结果进行统计分析，筛选出具有可靠网络延迟数据的目标IP地址及相应网络延迟数据，按照以下两个条件进行筛选，满足条件的测量结果中的有效网络延迟数据是可靠网络延迟数据；相应的目标IP地址是该测量点上，具有可靠网络延迟数据的目标IP地址；

所述的可靠网络延迟数据满足以下两个条件：

(1)有效数据比例不小于50％；

(2)网络延迟数据标准差不大于10ms。

这些目标IP地址将继续在地理位置标注子模块中被进行标注，相应的网络延迟数据也将被保留，作为建立延迟-距离相关性概率模型的根据；可靠网络延迟数据包含多次测量得到的多条网络延迟数据，用这些网络延迟数据的均值作为该可靠网络延迟数据的最终值，用于生成延迟-距离数据并最终用于建立延迟-距离相关性概率模型；

其中，

有效数据比例：多次测量中，得到网络延迟数据的有效测量次数占总测量次数的比例；

网络延迟标准差：网络延迟数据中有效数据的标准差。

其他模块和参数与具体实施方式三相同。

具体实施方式五：

本实施方式所述的地理位置标注子模块对具有可靠网络延迟数据的目标IP地址进行地理位置标注的具体步骤如下：

数据筛选子模块以各测量点为单位，筛选出各测量点上具有可靠网络延迟数据的目标IP地址，所有测量点上筛选出来的目标IP地址的集合就是进行标注的对象；

步骤1、对具有可靠网络延迟数据的目标IP地址进行运营商标注：

对可靠的网络延迟数据的目标IP地址所属的网络运营商进行标注，以对延迟-距离数据进行更为细致和科学的分析；

APNIC维护着一个每日更新的列表文件，其中记录了其对自制系统号(ASN)和IP地址的分配情况，其中IPV4地址分配的记录中，包含IP段的起始IP、包含的IP地址个数以及所属的国家；

将APNIC列表文件中属于中国的IPV4网段提取出来，使用APNIC发布的whois客户端whois3连接到whois.apnic.net，并对各个网段进行查询，并将返回的注册信息(inetnum记录)分网段存储起来；

根据inetnum中的netname值判断该网段属于的网络运营商；如该值为CHINANET-GD，就可以肯定该网段属于中国电信，且属于广东省；

得到各网段的运营商信息后，根据目标IP地址所属网段标注其运营商信息；

步骤2、对具有可靠网络延迟数据的目标IP地址使用现有的公开地理位置信息库对其地理位置进行标注，并利用地理位置标注结果和各测量点的已知真实地理位置计算目标IP地址标注的地理位置与测量点已知真实地理位置间的地理距离，与相应的网络延迟数据对应形成延迟-距离数据；

具有可靠网络延迟数据的目标IP地址被标注地理位置后，对于每条可靠的网络延迟数据，其对应了一个测量点和一个目标IP地址，使用测量点的真实地理位置和目标IP地址的地理位置标注结果，可以得到一个地理距离，与该条网络延迟数据的网络延迟值构成延迟-距离数据；这些数据继续作为建立延迟-距离相关性概率模型的依据；

使用MaxMind的GeoLiteCity数据库来完成对测量目标的精确到城市的地理位置标注，每个IP地址可以得到一个精确到城市的地理位置标注结果，地理坐标为相应城市的中心点；

步骤3、标注结果筛选：

地理位置标注所使用的MaxMind数据库对于中国IP的定位准确率在60％左右，不够准确，本模块就对标注的结果进行筛选，剔除错误结果；

路由器在网络中负责数据的转发，在任意主机的附近，都一般存在着在网络拓扑上以及地理位置上均十分接近的路由器，当对一个网络主机进行traceroute测量时，最后一跳的路由器就应该是距离该主机最近的路由器，如果使用MaxMind的数据库对这一路由器和目标均进行标注，两个结果应该是十分接近的，如果两个标注结果距离较远，基本可以肯定在标注中存在错误；尽管无法确定错误存在于对路由器的标注还是对目标的标注上，且无法对错误的结果进行校正，但是如果使用上述方法找到的错误定位结果比例较小，就可以简单的舍弃这些标注结果，这样就提高了地理标注的准确程度，延迟-距离数据也就更接近真实情况；

对目标IP地址进行额外的traceroute测量并记录最后一跳的路由器，而后对路由器和目标IP地址都进行地理位置标注，比较地理位置标注结果，若相距在500KM以上，则认定为错误标注结果，并予剔除；否则保留标注结果，得到延迟‐距离数据。

其他模块和参数与具体实施方式四相同。

具体实施方式六：

本实施方式所述的延迟-距离数据分析模块得到延迟-距离相关性概率模型的具体过程如下：

分析的过程即对数据进行统计，以得到网络延迟和地理距离之间的关系；

针对延迟-距离数据，以网络延迟值作为纵坐标、地理距离值作为横坐标绘制的散点图，并根据延迟-距离数据的散点图；大致拟合出网络延迟与地理距离间的线性关系及线性关系的波动范围；接下来用正态分布模型描述网络延迟与地理距离之间的相关关系，将拟合出的线性关系的正比例系数作为正态分布的均值参数，波动范围作为标准差参数，得到的正态分布模型就是所需的延迟-距离相关性概率模型，其概率密度函数将被用于进行定位；

直观的说，所得到的延迟‐距离相关性概率模型描述了网络延迟与地理距离之间的关系，用概率的形式描述，即目标IP地址与测量点间的网络延迟为一定值时，目标IP地址与测量点间的实际地理距离取任意值的可能性有多大，具体地，在一个地理距离值范围上对模型的概率密度函数进行积分，得到的就是目标IP地址与测量点的地理距离在此范围内的概率。

其他模块和参数与具体实施方式五相同。

具体实施方式七：

本实施方式所述的定位模块对指定的待测目标IP地址的IP地址进行定位的具体过程如下：

步骤a1、针对待测的目标IP地址，确定待测的目标IP地址属于的网络运营商；

步骤b1、根据待测的目标IP地址所属的网络运营商，选取该网络运营商网络内的测量点对待测目标IP地址进行网络延迟测量；具体地，通过网络延迟数据采集模块调度选取的测量点测量到待测目标IP地址的网络延迟；

步骤c1、被调度参与测量的测量点具有真实的地理位置，将这些位置在地球平面空间上标注出来，根据各测量点上测量得到的到待测目标IP地址的网络延迟数据，应用相应网络内的延迟‐距离相关性概率模型，就可以得到以各个测量点为中心的环状概率分布(因为模型只描述了网络延迟和地理距离之间的关系，与方向无关，各方向上无差异)；这些环状概率分布叠加形成了一个新的概率分布，这个新的概率分布描述了目标IP地址在地球平面空间上的概率分布，为了简化计算，在地球平面空间上均匀取点，针对新的概率分布，仅计算各点处的概率密度函数值，取具有最大值的点作为定位的初步结果；而后根据这一点找到最近的大中城市作为定位的最终定位结果，或者直接将该点的地理坐标作为最终定位结果。

其他模块和参数与具体实施方式六相同。

具体实施方式八：

本实施方式所述的定位模块对指定的待测目标IP地址的IP地址进行定位的具体过程如下：

步骤a2、针对待测的目标IP地址，确定待测的目标IP地址属于的网络运营商；

步骤b2、根据待测的目标IP地址所属的网络运营商，选取该网络运营商网络内的测量点对待测目标IP地址进行网络延迟测量；具体地，通过网络延迟数据采集模块调度选取的测量点测量到待测目标IP地址的网络延迟；

步骤c2、被调度参与测量的测量点具有真实的地理位置，将这些位置在地球平面空间上标注出来，根据各测量点上测量得到的到待测目标IP地址的网络延迟数据，应用相应网络内的延迟‐距离相关性概率模型，就可以得到以各个测量点为中心的环状概率分布(因为模型只描述了网络延迟和地理距离之间的关系，与方向无关，各方向上无差异)，这些环状概率分布叠加形成了一个新的概率分布，这个新的概率分布描述了目标IP地址在地球平面空间上的概率分布，任意区域内对新的概率分布的概率密度函数进行平面积分就是待测目标IP地址位于地球表面空间内的概率；根据所需定位精度，将地球表面空间均匀分割成若干区域，选取概率最大的区域作为定位的初步结果；而后在这一区域中找到大中城市作为定位的最终定位结果，或者直接将该点的地理坐标作为最终定位结果。

其他模块和参数与具体实施方式七相同。

Claims (5)

1.使用概率模型的基于测量的IP地址地理定位系统，其特征在于包括以下模块：

网络延迟数据采集模块，用于调度网络内测量点测量到目标IP地址的网络延迟数据，并采集网络延迟数据；

数据预处理模块，用于对网络延迟数据采集模块收集到的网络延迟数据进行预处理，得到网络延迟与地理距离相对应的延迟-距离数据；

延迟-距离数据分析模块，用于对不同运营商网络内的真实延迟-距离数据进行统计分析，得到不同网络内的延迟-距离相关性概率模型；

定位模块，用于借助延迟-距离相关性概率模型对指定的待测目标IP地址进行定位；

定位模块调用网络延迟数据采集模块，从多个测量点对待测目标IP地址进行网络延迟测量，并根据网络延迟数据，使用延迟-距离相关性概率模型对待测目标IP地址进行地理定位；

所述的数据预处理模块包括数据筛选子模块和地理位置标注子模块：

数据筛选子模块，用于对网络延迟数据进行筛选，筛选出具有可靠网络延迟数据的目标IP地址及相应网络延迟数据；

地理位置标注子模块，用于对具有可靠网络延迟数据的目标IP地址进行地理位置标注，根据相应测量点的位置，得到网络延迟与地理距离相对应的延迟-距离数据；

所述的数据筛选子模块筛选出具有可靠网络延迟数据的目标IP地址及相应网络延迟数据的具体步骤如下：

数据筛选子模块对每个目标IP地址的多次测量结果进行统计分析，筛选出具有可靠网络延迟数据的目标IP地址及相应网络延迟数据，按照以下两个条件进行筛选，满足条件的测量结果中的有效网络延迟数据是可靠网络延迟数据；相应的目标IP地址是该测量点上，具有可靠网络延迟数据的目标IP地址；

所述的可靠网络延迟数据满足以下两个条件：

(1)有效数据比例不小于50％；

(2)网络延迟数据标准差不大于10ms；

所述的地理位置标注子模块对具有可靠网络延迟数据的目标IP地址进行地理位置标注的具体步骤如下：

步骤1、对具有可靠网络延迟数据的目标IP地址进行运营商标注：

将APNIC列表文件中属于中国的IPV4网段提取出来，使用APNIC发布的whois客户端whois3连接到whois.apnic.net，并对各个网段进行查询，并将返回的注册信息分网段存储起来；

根据inetnum中的netname值判断该网段属于的网络运营商；

得到各网段的运营商信息后，根据目标IP地址所属网段标注其运营商信息；

步骤2、对具有可靠网络延迟数据的目标IP地址使用现有的公开地理位置信息库对其地理位置进行标注，并利用地理位置标注结果和各测量点的已知真实地理位置计算目标IP地址标注的地理位置与测量点已知真实地理位置间的地理距离，与相应的网络延迟数据对应形成延迟-距离数据；

具有可靠网络延迟数据的目标IP地址被标注地理位置后，对于每条可靠的网络延迟数据，其对应了一个测量点和一个目标IP地址，使用测量点的真实地理位置和目标IP地址的地理位置标注结果，可以得到一个地理距离，与该条网络延迟数据的网络延迟值构成延迟-距离数据；这些数据继续作为建立延迟-距离相关性概率模型的依据；

使用MaxMind的GeoLiteCity数据库来完成对测量目标的精确到城市的地理位置标注，每个IP地址可以得到一个精确到城市的地理位置标注结果，地理坐标为相应城市的中心点；

步骤3、标注结果筛选：

对目标IP地址进行额外的traceroute测量并记录最后一跳的路由器，而后对路由器和目标IP地址都进行地理位置标注，比较地理位置标注结果，若相距在500KM以上，则认定为错误标注结果，并予剔除；否则保留标注结果，得到延迟-距离数据。

2.根据权利要求1所述的使用概率模型的基于测量的IP地址地理定位系统，其特征在于所述系统还包括可视化模块，用于对定位模块的定位结果进行可视化的显示。

3.根据权利要求1所述的使用概率模型的基于测量的IP地址地理定位系统，其特征在于所述的延迟-距离数据分析模块得到延迟-距离相关性概率模型的具体过程如下：

针对延迟-距离数据，以网络延迟值作为纵坐标、地理距离值作为横坐标绘制的散点图，并根据延迟-距离数据的散点图；拟合出网络延迟与地理距离间的线性关系及线性关系的波动范围；接下来用正态分布模型描述网络延迟与地理距离之间的相关关系，将拟合出的线性关系的正比例系数作为正态分布的均值参数，波动范围作为标准差参数，得到的正态分布模型就是所需的延迟-距离相关性概率模型，其概率密度函数将被用于进行定位。

4.根据权利要求3所述的使用概率模型的基于测量的IP地址地理定位系统，其特征在于所述的定位模块对指定的待测目标IP地址的IP地址进行定位的具体过程如下：

步骤a1、针对待测的目标IP地址，确定待测的目标IP地址属于的网络运营商；

步骤b1、根据待测的目标IP地址所属的网络运营商，选取该网络运营商网络内的测量点对待测目标IP地址进行网络延迟测量；

步骤c1、被调度参与测量的测量点具有真实的地理位置，将这些位置在地球平面空间上标注出来，根据各测量点上测量得到的到待测目标IP地址的网络延迟数据，应用相应网络内的延迟-距离相关性概率模型，得到以各个测量点为中心的环状概率分布；这些环状概率分布叠加形成了一个新的概率分布，在地球平面空间上均匀取点，针对新的概率分布，仅计算各点处的概率密度函数值，取具有最大值的点作为定位的初步结果；而后根据这一点找到最近的大中城市作为定位的最终定位结果，或者直接将该点的地理坐标作为最终定位结果。

5.根据权利要求4所述的使用概率模型的基于测量的IP地址地理定位系统，其特征在于所述的定位模块对指定的待测目标IP地址的IP地址进行定位的具体过程如下：

步骤a2、针对待测的目标IP地址，确定待测的目标IP地址属于的网络运营商；

步骤b2、根据待测的目标IP地址所属的网络运营商，选取该网络运营商网络内的测量点对待测目标IP地址进行网络延迟测量；

步骤c2、被调度参与测量的测量点具有真实的地理位置，将这些位置在地球平面空间上标注出来，根据各测量点上测量得到的到待测目标IP地址的网络延迟数据，应用相应网络内的延迟-距离相关性概率模型，得到以各个测量点为中心的环状概率分布，这些环状概率分布叠加形成了一个新的概率分布，这个新的概率分布描述了目标IP地址在地球平面空间上的概率分布，对新的概率分布的概率密度函数进行平面积分就是待测目标IP地址位于该地球平面空间内的概率；根据所需定位精度，将地球表面空间均匀分割成若干区域，选取概率最大的区域作为定位的初步结果；而后在这一区域中找到大中城市作为定位的最终定位结果，或者直接将该点的地理坐标作为最终定位结果。