CN113411415A - 一种基于ip网络特征和地理特征的基准点清洗方法 - Google Patents

一种基于ip网络特征和地理特征的基准点清洗方法 Download PDF

Info

Publication number
CN113411415A
CN113411415A CN202110523333.2A CN202110523333A CN113411415A CN 113411415 A CN113411415 A CN 113411415A CN 202110523333 A CN202110523333 A CN 202110523333A CN 113411415 A CN113411415 A CN 113411415A
Authority
CN
China
Prior art keywords
network
cleaning
screening
reference point
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110523333.2A
Other languages
English (en)
Inventor
王永
田占奎
魏明亮
遆永鹏
邱鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Aiwen Computer Technology Co ltd
Original Assignee
Zhengzhou Aiwen Computer Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Aiwen Computer Technology Co ltd filed Critical Zhengzhou Aiwen Computer Technology Co ltd
Priority to CN202110523333.2A priority Critical patent/CN113411415A/zh
Publication of CN113411415A publication Critical patent/CN113411415A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00—Indexing scheme associated with group H04L61/00
    • H04L2101/60—Types of network addresses
    • H04L2101/69—Types of network addresses using geographic information, e.g. room number
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00—Indexing scheme associated with group H04L61/00
    • H04L2101/60—Types of network addresses
    • H04L2101/668—Internet protocol [IP] address subnets

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于IP网络特征和地理特征的基准点清洗方法，包括步骤1、结合IP的网络特征和地理特征，确定并筛选IP的应用场景；步骤2、筛选并删除企业专线类IP的异常点，实现对企业专线类IP的清洗；步骤3、筛选并删除住宅用户和移动网络类IP的异常点，实现对住宅用户和移动网络类IP的清洗。本发明针对目前基准点正确性验证不完善的问题，提供一种基于IP网络特征和地理特征的基准点清洗方法，针对不同的应用场景，使用不同的过滤方法清洗基准点，从而确保基准点的正确性。

Description

一种基于IP网络特征和地理特征的基准点清洗方法
技术领域
本发明涉及IP定位领域，具体而言，涉及了一种基于IP网络特征和地理特征的基准点清洗方法。
背景技术
IP定位技术，是通过设备的IP地址来确定其地理位置的技术手段。在IP定位领域，超高精度的IP定位技术通过将数据挖掘(收集基准点)和网络测量相结合的方法，能够实现超高精度的IP定位。基准点由IP和地理位置组成。超高精度的IP定位技术应用领域非常广泛，政府部门通过该服务可以对人民的网络行为进行社区粒度的舆情分析，从而充分地了解民意，做出更加利国利民的政策；安全部门通过该服务能够获取网络攻击源的位置，提升网络安全防御能力；商业端的在线支付通过该服务可以实现用户异地登录预警，提升交易的安全性。
基准点由IP和地理位置组成，其正确性由IP网络特性和地理特征共同确定。目前，研究者多关注从IP地理位置进行验证，而往往忽略了IP的网络特性。
发明内容
为了解决背景技术中所存在的问题，本发明提出了一种基于IP网络特征和地理特征的基准点清洗方法。
一种基于IP网络特征和地理特征的基准点清洗方法，包括
步骤1、结合IP的网络特征和地理特征，确定并筛选IP的应用场景；
步骤2、筛选并删除企业专线类IP的异常点，实现对企业专线类IP的清洗；
步骤3、筛选并删除住宅用户和移动网络类IP的异常点，实现对住宅用户和移动网络类IP的清洗。
基于上述，步骤1中，结合IP的网络特征和地理特征，使用IP应用场景划分技术，确定IP的应用场景，并筛选出静态的企业专线IP、动态的住宅用户及移动网络的IP。
基于上述，步骤2中，针对企业专线类的IP，使用聚类算法对历史基准点IP进行聚类分析，将未聚类的历史基准点作为异常点进行删除，从而实现对企业专线类IP的清洗。
基于上述，步骤3中，针对住宅用户及移动网络类的IP，将包含IP量最多的行政区域作为正常覆盖的行政区域，其他的行政区域则划分为异常行政区域，删除异常行政区域中的历史基准点，实现对住宅用户和移动网络类IP的清洗。
基于上述，所述聚类算法至少包括K-MEANS算法、DBSCAN算法和均值飘逸聚类算法中一种或多种。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明通过结合IP的网络特征和地理特征，确定IP的应用场景，并针对不同的应用场景使用不同的过滤方法清洗基准点，从而确保IP基准点的正确性。
附图说明
图1是企业专线类IP的基准点分布情况示意图。
在图1中，1)圈内的倒水滴状的点表示正常基准点，基准点分布集中；2)圆圈表示聚类结果；3)圈外右侧的倒水滴状的点表示需要删除的异常基准点。
图2是住宅用户类IP的基准点分布情况示意图。
在图2中，1)图2中部的多个倒水滴状的点表示正常基准点，基准点分布较集中，分布在邻近区域；2)图2右上角的三个倒水滴状点表示需要删除的异常基准点。
图中，1)倒水滴状的点表示历史基准点数据；2)圆圈表示聚类结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于IP网络特征和地理特征的基准点清洗方法，包含以下步骤：
步骤1、结合IP的网络特征和地理特征，确定并筛选IP的应用场景。
针对一个IP块，结合IP的网络特征和地理特征，确定IP块的应用场景。如表1所示，IP块1.1.1.0-1.1.1.255，地理特征表现为：单个IP的基准点数据分布集中，整个IP块的历史准点分布较分散。网络特征表现为：ICMP响应IP较多,端口响应IP较多，IP块的上层拓扑相似性较低，因此，该IP块确定为企业专线类IP。
Figure BDA0003064913910000031
Figure BDA0003064913910000041
表1IP块应用场景确定
同理，结合IP块的网络特征和地理特征，实现对其它IP块的应用场景划分。例如，将表1中的2.2.2.0-2.2.2.255和3.3.3.0-3.3.3.255的应用场景分别确定为住宅用户和移动网络。
步骤2、筛选企业专线类IP的异常点，实现对企业专线类IP的清洗。
针对企业专线类的IP，使用DBSCAN聚类算法对历史基准点进行聚类。聚类结果如图1所示。将未聚类的历史基准点作为异常点进行删除，如图1中圆圈外的倒水滴状的点，从而实现对企业专线类IP的清洗。
步骤3、筛选住宅用户和移动网络类IP的异常点，实现对住宅用户和移动网络类IP的清洗。
针对住宅用户和移动网络类的IP，将包含IP量最多的行政区域如图2中部较集中的多个倒水滴状的点所在的行政区域作为正常覆盖的行政区域，其他的行政区域则划分为异常行政区域。删除异常行政区域中的历史基准点，如图2中右上角的三个倒水滴状的点，实现对住宅用户和移动网络类IP的清洗。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (5)

1.一种基于IP网络特征和地理特征的基准点清洗方法，其特征在于：包括
步骤1、结合IP的网络特征和地理特征，确定并筛选IP的应用场景；
步骤2、筛选并删除企业专线类IP的异常点，实现对企业专线类IP的清洗；
步骤3、筛选并删除住宅用户和移动网络类IP的异常点，实现对住宅用户和移动网络类IP的清洗。
2.根据权利要求1所述的基于IP网络特征和地理特征的基准点清洗方法，其特征在于：步骤1中，结合IP的网络特征和地理特征，使用IP应用场景划分技术，确定IP的应用场景，并筛选出静态的企业专线IP、动态的住宅用户及移动网络的IP。
3.根据权利要求1所述的基于IP网络特征和地理特征的基准点清洗方法，其特征在于：步骤2中，针对企业专线类的IP，使用聚类算法对历史基准点IP进行聚类分析，将未聚类的历史基准点作为异常点进行删除，从而实现对企业专线类IP的清洗。
4.根据权利要求1所述的基于IP网络特征和地理特征的基准点清洗方法，其特征在于：步骤3中，针对住宅用户及移动网络类的IP，将包含IP量最多的行政区域作为正常覆盖的行政区域，其他的行政区域则划分为异常行政区域，删除异常行政区域中的历史基准点，实现对住宅用户和移动网络类IP的清洗。
5.根据权利要求3所述的基于IP网络特征和地理特征的基准点清洗方法，其特征在于：所述聚类算法至少包括K-MEANS算法、DBSCAN算法和均值飘逸聚类算法中一种或多种。
CN202110523333.2A 2021-05-13 2021-05-13 一种基于ip网络特征和地理特征的基准点清洗方法 Pending CN113411415A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110523333.2A CN113411415A (zh) 2021-05-13 2021-05-13 一种基于ip网络特征和地理特征的基准点清洗方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110523333.2A CN113411415A (zh) 2021-05-13 2021-05-13 一种基于ip网络特征和地理特征的基准点清洗方法

Publications (1)

Publication Number Publication Date
CN113411415A true CN113411415A (zh) 2021-09-17

Family

ID=77678440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110523333.2A Pending CN113411415A (zh) 2021-05-13 2021-05-13 一种基于ip网络特征和地理特征的基准点清洗方法

Country Status (1)

Country Link
CN (1) CN113411415A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027693A (zh) * 2016-06-30 2016-10-12 百度在线网络技术（北京）有限公司 基于ip地址的定位方法及装置
CN106302737A (zh) * 2016-08-17 2017-01-04 郑州埃文计算机科技有限公司 一种ip定位技术中基准点数据的清洗方法
CN111950620A (zh) * 2020-08-07 2020-11-17 国网能源研究院有限公司 基于DBSCAN和K-means算法的用户筛选方法
CN112769702A (zh) * 2021-01-06 2021-05-07 郑州埃文计算机科技有限公司 一种基于路由器别名和基准点地理特征的路由器定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027693A (zh) * 2016-06-30 2016-10-12 百度在线网络技术（北京）有限公司 基于ip地址的定位方法及装置
CN106302737A (zh) * 2016-08-17 2017-01-04 郑州埃文计算机科技有限公司 一种ip定位技术中基准点数据的清洗方法
CN111950620A (zh) * 2020-08-07 2020-11-17 国网能源研究院有限公司 基于DBSCAN和K-means算法的用户筛选方法
CN112769702A (zh) * 2021-01-06 2021-05-07 郑州埃文计算机科技有限公司 一种基于路由器别名和基准点地理特征的路由器定位方法

Similar Documents

Publication Publication Date Title
Blondel et al. A survey of results on mobile phone datasets analysis
Cici et al. On the decomposition of cell phone activity patterns and their connection with urban ecology
Vaz de Melo et al. Recast: Telling apart social and random relationships in dynamic networks
US20120046017A1 (en) System and method for prevention of indirect user tracking through aggregate profile data
Xu et al. How friends share urban space: An exploratory spatiotemporal analysis using mobile phone data
WO2015161783A1 (en) Group positioning method and system
US20100250643A1 (en) Platform for Societal Networking
WO2008134708A1 (en) Method and system for activity monitoring and forecasting
US11783372B2 (en) Systems and methods for using spatial and temporal analysis to associate data sources with mobile devices
CN107798552B (zh) 活动信息推送方法、系统、服务器和介质
Hu et al. Data acquisition for real-time decision-making under freshness constraints
EP3278580A1 (en) Method and system for a real-time counting of a number of persons in a crowd by means of aggregated data of a telecommunication network
CN103902636A (zh) 基于过滤聚类法推送信息的方法和服务器
US20240334159A1 (en) Systems and methods for using spatial and temporal analysis to associate data sources with mobile devices
Ma et al. A Socio‐Geographic Perspective on Human Activities in Social Media
CN113242332B (zh) 一种形成街道级定位库的改进方法
CN113411415A (zh) 一种基于ip网络特征和地理特征的基准点清洗方法
CN110430526B (zh) 基于信誉评估的隐私保护方法
AT&T JonReadesThesis.pdf
Samaniego et al. The topology of communicating across cities of increasing sizes, or the complex task of “reaching out” in larger cities
Baučić et al. Telecom big data for urban transport analysis–a case study of Split-Dalmatia county in Croatia
CN113408580A (zh) 一种基于场景特征的动态ip定位聚类方法
WO2021255909A1 (ja) 投稿位置の日常・非日常性判定システム
Corcoran Predicting Violent Crime Reports from Geospatial and Temporal Attributes of US 911 Emergency Call Data
CN114549006A (zh) 一种团伙挖掘方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210917

RJ01 Rejection of invention patent application after publication