CN113242332A - 一种形成街道级定位库的改进方法 - Google Patents
一种形成街道级定位库的改进方法 Download PDFInfo
- Publication number
- CN113242332A CN113242332A CN202110545564.3A CN202110545564A CN113242332A CN 113242332 A CN113242332 A CN 113242332A CN 202110545564 A CN202110545564 A CN 202110545564A CN 113242332 A CN113242332 A CN 113242332A
- Authority
- CN
- China
- Prior art keywords
- positioning
- data
- library
- network
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 238000004140 cleaning Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000003066 decision tree Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2101/00—Indexing scheme associated with group H04L61/00
- H04L2101/60—Types of network addresses
- H04L2101/69—Types of network addresses using geographic information, e.g. room number
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种形成街道级定位库的改进方法，包括步骤1、构建城市级IP定位库；步骤2、利用多源异构基准点数据采集与过滤技术，采集与清洗基准点数据；步骤3、结合IP的地理特征和网络特征，实现IP的应用场景划分；步骤4、针对有基准点数据的IP，使用动态密度聚类算法，对不同应用场景下、有基准点的IP进行动态聚类，实现IP的聚类定位；步骤5、利用网络拓扑相似性，实现对没有基准点数据IP的网络测绘定位，提升街道级IP覆盖范围，形成街道级IP定位库。本发明克服了现有街道级IP定覆盖范围有限的问题，通过构建城市级IP定位库、基准点数据采集与清洗、应用场景划分、聚类定位和网络测绘定位，提升街道IP的覆盖范围，实现街道级IP定位。
Description
技术领域
本发明涉及IP定位领域，具体而言，涉及了一种形成街道级定位库的改进方法。
背景技术
IP定位技术，是通过设备的IP地址来确定其地理位置的技术手段。超高精度的IP定位技术应用领域非常广泛，政府部门通过该服务可以对人民的网络行为进行社区粒度的舆情分析，从而充分地了解民意，做出更加利国利民的政策；安全部门通过该服务能够获取网络攻击的源目标位置，提升网络安全防御能力；商业端的在线支付通过该服务可以实现用户异地登录预警，提升交易的安全性。
现在IP定位产品的定位精度可以达到国家、省份、城市，甚至是街道，但是街道级定位通过对IP的历史位置进行聚类得到，街道级IP定位的覆盖范围有限。
发明内容
为了解决背景技术中所存在的问题，本发明提出了一种形成街道级定位库的改进方法。
一种形成街道级定位库的改进方法，包括
步骤1、构建城市级IP定位库；
步骤2、利用多源异构基准点数据采集与过滤技术，采集与清洗基准点数据；
步骤3、结合IP的地理特征和网络特征，实现IP的应用场景划分；
步骤4、针对有基准点数据的IP，使用动态密度聚类算法，对不同应用场景下、有基准点的IP进行动态聚类，实现IP的聚类定位；
步骤5、利用网络拓扑相似性，实现对没有基准点数据IP的网络测绘定位，提升街道级IP覆盖范围，形成街道级IP定位库。
基于上述，步骤1中，首先，利用多源数据融合技术，融合至少包括WHOIS数据、BGP数据和IP定位数据库的多个来源的IP定位数据，并在定位信息一致的情况下，确定IP城市级位置信息；其次，在多个IP定位数据不一致的情况下，利用时延修正技术，根据探测机器和被探测IP之间的时延信息和走向信息，确定IP的位置信息；最后，针对多源数据融合技术和时延修正技术都无法确认IP块的城市级位置信息时，采用少数服从多数的原则，确认IP块的城市信息，构建城市级IP定位库。
基于上述，步骤2中，首先，基于高效的、分布式的数据采集平台，采集WHOIS类型、主机名类型、移动APP类型和网站WEB类型这四种不同类型的基准点数据，形成初始的基准点数据；其次，研究与分析不同数据源的数据特征，搭建完善的基准点分析过滤模型，对初始的基准点数据进行清洗过滤，最终得到海量的、有效的基准点数据。
基于上述，步骤3中，根据IP用途，结合IP地理特征和网络特征，使用至少包括决策树、集成学习和多层神经网络的一种或多种人工智能算法，进行精细化、层次化的IP应用场景划分。
基于上述，步骤4中，基于基准点数据，利用动态密度聚类算法，对不同应用场景下、有基准点的IP进行动态聚类，权衡聚类覆盖区域的面积以及基准点召回率，给出IP地理位置的最大覆盖范围，实现对IP的聚类定位。
基于上述，步骤5中，首先，对有基准点和没有基准点的IP分别进行网络路径探测，收集并整理网络路径数据，形成有基准点和没有基准点的IP网络拓扑数据库；其次，针对没有基准点的IP，将它们与有基准点IP的网络拓扑数据进行对比分析，将其与具有相似网络拓扑结构的、时延相似度高的基准点IP进行绑定定位，实现对没有基准点IP的定位，提升街道级IP覆盖范围，形成街道级IP定位库。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明提出一种形成街道级定位库的改进方法，通过构建城市级IP定位库、基准点数据的采集与清洗、应用场景划分、聚类定位和网络测绘定位这一系列过程，实现街道级IP定位并提升街道IP的覆盖范围。
附图说明
图1是本发明多个探测机器对同一个IP的Ping探测，线上的数字代表探测机器与被测IP之间的时延。
图2是本发明实施例中在ARIN官网上通过查询西北大学(NorthwesternUniversity)IP得到的WHOIS数据，包含IP块和对应的地理位置信息，从而形成WHOIS类型的基准点数据。
图3是本发明实施例中西北大学的官网，可以从网页提取网站域名和地理位置信息，从而形成WEB类型的基准点数据。
图4是本发明基于同一个IP块下所有的基准点数据，使用不同的聚类参数，得到的不同聚类结果。在图4中，A表示圆形区域所覆盖的面积总和，R表示召回率，即圆形区域包含的基准点数量在所有基准点中的比例。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种形成街道级定位库的改进方法，以形成全球街道级IP定位库为例进行进一步说明。
步骤1、构建城市级IP定位库。
首先，针对每个IP块，使用多源数据融合技术，在多个定位来源数据说法一致的情况，确定IP块的位置信息。如表1中第一记录所示，三个来源都认为该IP块在A国B省C城市，那么该IP块的位置信息确定为A国B省C城市。
表1多源数据融合形成城市级IP库
其次，在多个IP定位数据不一致的情况下，利用时延修正技术，将一个IP与探测机器之间的时延小于2ms，则将该IP的位置信息确定为探测机器的位置信息。如图1中，被测IP与A国B省C市探测机器之间的时延为1.5ms，小于2ms，因此，将测IP的位置确定为A国B省C市。
最后，针对多源数据融合技术和时延都修正技术都无法确认IP块的城市级位置信息时，采用少数服从多数的原则，确认IP块的城市信息。例如，表1中的第二条记录，两个来源认为该IP块在A国B省D市，而一个来源认为该IP块在A国B省E市，则将该IP确定为A国B省D市。
步骤2、利用海量多源异构基准点数据采集与过滤技术，采集与清洗基准点数据。
首先，基于高效的、分布式的数据采集平台，采集WHOIS类型、主机名类型、移动APP类型和网站WEB类型四种不同类型的基准点数据，形成初始的基准点数据。图2和图3是WHOIS类型和WEB类型基准点的示意图。
其次，研究与分析不同数据源的数据特征，搭建完善的基准点分析过滤模型，对初始的基准点数据进行清洗过滤，最终得到海量的、有效的基准点数据。例如，对于WHOIS类型基准点，根据IP注册机构的类型和地域、历史信息变动次数以及登记的时间等，确定WHOIS基准点的可用度，选取在注册机构类型和地域、历史信息变动次数和登记时间方面满足要求的基准点。
步骤3、结合IP的地理特征和网络特征，实现IP的应用场景划分。
住宅用户IP的地理特征和网络特征是单个IP的历史基准点分散，连续若干IP块的基准点分布相似，ICMP响应IP多等。而企业专线IP的地理特征和网络特征是单个IP的历史基准点分布集中，ICMP响应IP较多等。移动网络IP的地理特征和网络特征是IP块的历史基准点虽然全国分布但在某个省出现聚集情况，ICMP响应IP几乎没有。因此，可以结合IP的地理特征和网络特征，利用人工智能算法，实现IP的应用场景划分。
步骤4、针对有基准点数据的IP，使用动态密度聚类算法，对不同应用场景下、有基准点的IP进行动态聚类，实现IP的聚类定位。
如图4所示，针对一个IP块的所有基准点，利用动态密度聚类算法，权衡聚类覆盖区域的面积以及基准点召回率因素，选择圆形区域覆盖面积小且召回率高的聚类结果，如图4中的A＝22.57且R＝99.2％的聚类结果，实现对该IP块的聚类定位。
步骤5、利用网络拓扑相似性，实现对没有基准点数据IP的网络测绘定位，提升街道级IP覆盖范围，形成街道级IP定位库。
针对一个没有准点数据的IPX，将它的与有基准点IP的网络拓扑数据进行比较，如果IPX与某个基准点IPY的拓扑相似度大于等于95％，并且IPX与IPY的拓扑相似度最大，则将IPX的位置信息确定为基准点IPY的街道级信息，提升街道级IP的覆盖范围，从而形成街道级IP定位库。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
Claims (6)
1.一种形成街道级定位库的改进方法，其特征在于：包括
步骤1、构建城市级IP定位库；
步骤2、利用多源异构基准点数据采集与过滤技术，采集与清洗基准点数据；
步骤3、结合IP的地理特征和网络特征，实现IP的应用场景划分；
步骤4、针对有基准点数据的IP，使用动态密度聚类算法，对不同应用场景下、有基准点的IP进行动态聚类，实现IP的聚类定位；
步骤5、利用网络拓扑相似性，实现对没有基准点数据IP的网络测绘定位，提升街道级IP覆盖范围，形成街道级IP定位库。
2.根据权利要求1所述的形成街道级定位库的改进方法，其特征在于：步骤1中，首先，利用多源数据融合技术，融合至少包括WHOIS数据、BGP数据和IP定位数据库的多个来源的IP定位数据，并在定位信息一致的情况下，确定IP城市级位置信息；其次，在多个IP定位数据不一致的情况下，利用时延修正技术，根据探测机器和被探测IP之间的时延信息和走向信息，确定IP的位置信息；最后，针对多源数据融合技术和时延修正技术都无法确认IP块的城市级位置信息时，采用少数服从多数的原则，确认IP块的城市信息，构建城市级IP定位库。
3.根据权利要求1所述的形成街道级定位库的改进方法，其特征在于：步骤2中，首先，基于高效的、分布式的数据采集平台，采集WHOIS类型、主机名类型、移动APP类型和网站WEB类型这四种不同类型的基准点数据，形成初始的基准点数据；其次，研究与分析不同数据源的数据特征，搭建完善的基准点分析过滤模型，对初始的基准点数据进行清洗过滤，最终得到海量的、有效的基准点数据。
4.根据权利要求1所述的形成街道级定位库的改进方法，其特征在于：步骤3中，根据IP用途，结合IP地理特征和网络特征，使用至少包括决策树、集成学习和多层神经网络的一种或多种人工智能算法，进行精细化、层次化的IP应用场景划分。
5.根据权利要求1所述的形成街道级定位库的改进方法，其特征在于：步骤4中，基于基准点数据，利用动态密度聚类算法，对不同应用场景下、有基准点的IP进行动态聚类，权衡聚类覆盖区域的面积以及基准点召回率，给出IP地理位置的最大覆盖范围，实现对IP的聚类定位。
6.根据权利要求1所述的形成街道级定位库的改进方法，其特征在于：步骤5中，首先，对有基准点和没有基准点的IP分别进行网络路径探测，收集并整理网络路径数据，形成有基准点和没有基准点的IP网络拓扑数据库；其次，针对没有基准点的IP，将它们与有基准点IP的网络拓扑数据进行对比分析，将其与具有相似网络拓扑结构的、时延相似度高的基准点IP进行绑定定位，实现对没有基准点IP的定位，提升街道级IP覆盖范围，形成街道级IP定位库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110545564.3A CN113242332B (zh) | 2021-05-19 | 2021-05-19 | 一种形成街道级定位库的改进方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110545564.3A CN113242332B (zh) | 2021-05-19 | 2021-05-19 | 一种形成街道级定位库的改进方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113242332A true CN113242332A (zh) | 2021-08-10 |
| CN113242332B CN113242332B (zh) | 2022-10-04 |
Family
ID=77137661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110545564.3A Active CN113242332B (zh) | 2021-05-19 | 2021-05-19 | 一种形成街道级定位库的改进方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113242332B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115242868A (zh) * | 2022-07-13 | 2022-10-25 | 郑州埃文计算机科技有限公司 | 一种基于图神经网络的街道级ip地址定位方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7376636B1 (en) * | 2002-06-07 | 2008-05-20 | Oracle International Corporation | Geocoding using a relational database |
| CN106131242A (zh) * | 2016-08-17 | 2016-11-16 | 郑州埃文计算机科技有限公司 | 一种ip应用场景的分类方法 |
| CN106302737A (zh) * | 2016-08-17 | 2017-01-04 | 郑州埃文计算机科技有限公司 | 一种ip定位技术中基准点数据的清洗方法 |
| CN107181831A (zh) * | 2017-05-10 | 2017-09-19 | 郑州埃文计算机科技有限公司 | 一种逆向ip定位的方法 |
| CN107743153A (zh) * | 2017-05-19 | 2018-02-27 | 贵州白山云科技有限公司 | 一种ip地址数据库生成方法和装置 |
| CN108156020A (zh) * | 2017-12-01 | 2018-06-12 | 国家计算机网络与信息安全管理中心 | 一种ip定位数据库优化方法及装置 |
| CN110995885A (zh) * | 2019-12-13 | 2020-04-10 | 罗向阳 | 一种基于路由器误差训练的ip定位方法 |
| CN111026829A (zh) * | 2019-12-11 | 2020-04-17 | 罗向阳 | 一种基于服务识别和域名关联的街道级地标获取方法 |
| CN112769702A (zh) * | 2021-01-06 | 2021-05-07 | 郑州埃文计算机科技有限公司 | 一种基于路由器别名和基准点地理特征的路由器定位方法 |
-
2021
- 2021-05-19 CN CN202110545564.3A patent/CN113242332B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7376636B1 (en) * | 2002-06-07 | 2008-05-20 | Oracle International Corporation | Geocoding using a relational database |
| CN106131242A (zh) * | 2016-08-17 | 2016-11-16 | 郑州埃文计算机科技有限公司 | 一种ip应用场景的分类方法 |
| CN106302737A (zh) * | 2016-08-17 | 2017-01-04 | 郑州埃文计算机科技有限公司 | 一种ip定位技术中基准点数据的清洗方法 |
| CN107181831A (zh) * | 2017-05-10 | 2017-09-19 | 郑州埃文计算机科技有限公司 | 一种逆向ip定位的方法 |
| CN107743153A (zh) * | 2017-05-19 | 2018-02-27 | 贵州白山云科技有限公司 | 一种ip地址数据库生成方法和装置 |
| CN108156020A (zh) * | 2017-12-01 | 2018-06-12 | 国家计算机网络与信息安全管理中心 | 一种ip定位数据库优化方法及装置 |
| CN111026829A (zh) * | 2019-12-11 | 2020-04-17 | 罗向阳 | 一种基于服务识别和域名关联的街道级地标获取方法 |
| CN110995885A (zh) * | 2019-12-13 | 2020-04-10 | 罗向阳 | 一种基于路由器误差训练的ip定位方法 |
| CN112769702A (zh) * | 2021-01-06 | 2021-05-07 | 郑州埃文计算机科技有限公司 | 一种基于路由器别名和基准点地理特征的路由器定位方法 |
Non-Patent Citations (3)
| Title |
|---|
| YONG WANG；等: "Towards street-level client-independent IP geolocation", 《NSDI"11: PROCEEDINGS OF THE 8TH USENIX CONFERENCE ON NETWORKED SYSTEMS DESIGN AND IMPLEMENTATION》 * |
| 王永，等: "An IP Geolocation Database Evaluation and Fusion Model Based on Data Correlation and Delay Similarity", 《ICTCE 2018: PROCEEDINGS OF THE 2ND INTERNATIONAL CONFERENCE ON TELECOMMUNICATIONS AND COMMUNICATION ENGINEERING》 * |
| 费高雷等: "基于网络结构特征的IP所属区域识别", 《电子与信息学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115242868A (zh) * | 2022-07-13 | 2022-10-25 | 郑州埃文计算机科技有限公司 | 一种基于图神经网络的街道级ip地址定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113242332B (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schulz et al. | A multi-indicator approach for geolocalization of tweets | |
| Scott et al. | Satellite: Joint analysis of {CDNs} and {Network-Level} interference | |
| US10078743B1 (en) | Cross identification of users in cyber space and physical world | |
| CN110995885B (zh) | 一种基于路由器误差训练的ip定位方法 | |
| WO2021088107A1 (zh) | Ip定位方法及装置、计算机存储介质、计算设备 | |
| Dan et al. | IP geolocation through reverse DNS | |
| CN106547770A (zh) | 一种基于用户地址信息的用户分类、用户识别方法及装置 | |
| Dan et al. | Improving IP geolocation using query logs | |
| CN111383004A (zh) | 数字货币的实体位置提取方法、信息的提取方法及其装置 | |
| CN113242332B (zh) | 一种形成街道级定位库的改进方法 | |
| Li et al. | Street-Level Landmarks Acquisition Based on SVM Classifiers. | |
| CN114070760A (zh) | 一种网络空间资产的测绘方法、装置、网络空间资产数据库及计算机可读存储介质 | |
| US11792110B2 (en) | Geolocation system and method | |
| Li et al. | Street‐Level Landmark Evaluation Based on Nearest Routers | |
| Li et al. | GeoCAM: An IP-based geolocation service through fine-grained and stable webcam landmarks | |
| Wang et al. | Towards IP-based geolocation via fine-grained and stable webcam landmarks | |
| Abbar et al. | Robustness and resilience of cities around the world | |
| CN104166659A (zh) | 一种地图数据判重的方法及系统 | |
| CN113411377B (zh) | 一种基于大型内容网站dns解析的cdn场景判定方法 | |
| CN111026829A (zh) | 一种基于服务识别和域名关联的街道级地标获取方法 | |
| Baumann et al. | Towards measuring the geographic and political resilience of the internet | |
| Abbar et al. | Structural robustness and service reachability in urban settings | |
| Berenguer et al. | Radiography of internet autonomous systems interconnection in Latin America and the Caribbean | |
| CN112532448B (zh) | 网络拓扑处理方法、装置和电子设备 | |
| CN115086411A (zh) | 一种ip定位方法、系统、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No. 608, 6th Floor, Building 2, South Xinghua Science and Technology Industrial Park, West 2nd Street, Jingnan 1st Road, Zhengzhou Economic and Technological Development Zone, Zhengzhou City, Henan Province, 450000 Patentee after: Zhengzhou Evan Technology Co.,Ltd. Address before: No.608, 6th floor, building 2, South Xinghua science and Technology Industrial Park, No.2 Street West, Jingnan 1st Road, Zhengzhou Economic and Technological Development Zone, Henan Province, 450000 Patentee before: ZHENGZHOU AIWEN COMPUTER TECHNOLOGY CO.,LTD. |
|
| CP03 | Change of name, title or address |