CN104333616B - 一种ip地址库的推断和填充方法 - Google Patents

一种ip地址库的推断和填充方法 Download PDF

Info

Publication number
CN104333616B
CN104333616B CN201410643337.4A CN201410643337A CN104333616B CN 104333616 B CN104333616 B CN 104333616B CN 201410643337 A CN201410643337 A CN 201410643337A CN 104333616 B CN104333616 B CN 104333616B
Authority
CN
China
Prior art keywords
address
list
midnet
candidate
subnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410643337.4A
Other languages
English (en)
Other versions
CN104333616A (zh
Inventor
胡新静
李晓东
耿光刚
陈勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Internet Network Information Center
Original Assignee
Computer Network Information Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Computer Network Information Center of CAS filed Critical Computer Network Information Center of CAS
Priority to CN201410643337.4A priority Critical patent/CN104333616B/zh
Priority to PCT/CN2014/095169 priority patent/WO2016070483A1/zh
Publication of CN104333616A publication Critical patent/CN104333616A/zh
Application granted granted Critical
Publication of CN104333616B publication Critical patent/CN104333616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5053—Lease time; Renewal aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/09—Mapping addresses
    • H04L61/25—Mapping addresses of the same type
    • H04L61/2503—Translation of Internet protocol [IP] addresses
    • H04L61/255—Maintenance or indexing of mapping tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种IP地址库的推断和填充方法。该方法结合Traceroute探测得到的网络拓扑，对IP的地址归属数据进行纠正和填充，处理的基本单位是C网段(亦可以是更小的网段)，并基于以下统计规律：对Traceroute探测中出现的连续三跳路由的IP，如果前一跳的IP和后一跳的IP具有相同的地理位置(同省或同市)，则中间一跳的IP的地址也应该是相同的地理位置；ISP亦然；前后跳IP如果在具有相同地址的情况下也具有相同的ISP，则中间路由IP是同一地址的概率就更大。本发明能够利用自动化探测得到的数据来纠正和填充IP地址库中IP的地理位置和ISP信息，提高IP地址库的覆盖度，纠正IP地址库的数据。

Description

一种IP地址库的推断和填充方法
技术领域
本发明属于网络技术领域，具体涉及一种IP地址库的推断和填充方法，用于纠正和填充Traceroute探测的IP地址库中IP的地理位置和ISP信息。
背景技术
本发明方法基于Traceroute探测结果而提出。以基于UDP高端口实现的Traceroute为例，其工作过程如下：Traceroute通过向目的主机发送一系列TTL(Time ToLive，生存时间)值从1开始递增的的UDP报文，由于报文每经过一个路由器的处理，其TTL值都会自减1，当中间路由器在收到报文时发现TTL超时，会向源主机回复ICMP超时报文(ICMPtime-exceeded message)，这样源主机就得到了距离自己给定跳数之远的路由IP地址。当报文到达目的主机时，目的主机回复的则是ICMP地址不可达报文(ICMP destinationunreachable message)，探测终止。这样我们就获得了从源地址到目的地址的路由转发路径，从而利用这个路径去构建网络拓扑。
IP地址库通常提供了IP地址段所在的地理位置、ISP(Internet ServiceProvider)等信息，通常从覆盖度、粒度和准确度上来进行评估。目前存在着很多免费和收费的IP地址库，但通常都依靠网民反馈、调研等方法来收集和验证这些IP地址库的地址和ISP归属信息，不够自动化。
发明内容
本发明针对上述问题，提出一种IP地址库的推断和填充方法，能够利用自动化探测得到的数据来纠正和填充IP地址库中IP的地理位置和ISP信息，提高IP地址库的覆盖度，纠正IP地址库的数据。
本发明的IP地址填充方法结合Traceroute探测得到的网络拓扑，对IP的地址归属数据进行纠正和填充，处理的基本单位是C网段(亦可以是更小的网段)。该推断与填充方法是基于以下统计规律：对Traceroute探测中出现的连续三跳路由的IP，如果前一跳的IP和后一跳的IP具有相同的地理位置(同省或同市)，则中间一跳的IP的地址也应该是相同的地理位置。ISP亦然。前后跳IP如果在具有相同地址的情况下也具有相同的ISP，则中间路由IP是同一地址的概率就更大。
具体来说，本发明采用的技术方案如下：
一种IP地址库的推断和填充方法，如图1所示，其步骤包括：
1.对于一个IP，从Traceroute数据中找出满足其前后跳IP同地址的连续三跳IP，并记录三个IP分别对应的C网段或者更小的网段，记做preNet，midNet和nextNet(其中，preNet≠midNet且midNet≠nextNet)；对于midNet来说，生成如下的各网段(C网段或者更小的网段)对的元组列表：
midNet:(preNet1,nextNet1)，......，(preNetx,nextNetx)；
2.使用给定的IP地址库和步骤1中提取出的元组列表，每一个元组根据下述验证和填充的统计规则都会“投票选出”midNet的一个候选地址数据：如果元组中的前后跳具有相同的地址，则针对中间一跳IP，则由该元组得到其候选地址数据，即与前后跳相同的地址。
这样，midNet就得到了候选地址列表。如果该候选地址列表中的各候选地址相同，则作为最终判定结果并结束；如果该候选地址列表中的各候选地址有不同，则继续下面的步骤。
3.使用步骤2的结果，对midNet进行信息的判定，具体方法是：
1)对每一个候选地址geoi，记录是哪些元组投票选出的，这些元组的个数记为counti。然后对下列指标进行统计：
·前一跳子网与中间路由子网的链接preLink的出现次数preLinkCount；
·后一跳子网与中间路由子网的链接nextLink的出现次数nextLinkCount；
·前后跳子网ISP相同的元组数目sameISPCount；
·前后跳子网各自的地址信息权威值(由相关专家人为设定)preGeoWeight和nextGeoWeight。
2)计算每个候选地址的得分GeoScorei：
其中，α,β,γ是系数，是函数定义。在实际应用中，可根据情况确定各参数的值和函数的定义，最简可以取α＝0,β＝0,γ＝0,c＝1，即表明各候选地址的得分相同。
4.对于所有候选地址及其得分，按得分高低排列，将得到的候选地址列表作为midNet的地址最终判定结果，从而实现对原IP地址数据的纠正和填充。如图1所示，如果中间路由C网段原来是没有地址的，则该步骤最终得到的候选地址列表填充了原地址库；如果中间路由C网段原来是有地址的，并且原地址在候选列表中，则该步骤最终得到的候选地址列表验证了原地址库数据；如果中间路由C网段原来是有地址的，而原地址不在候选列表中，则该步骤最终得到的候选地址列表对原地址库数据进行了纠正。
进一步地，步骤3在实际应用中可根据情况确定函数可以根据不同的网络结构或管理情况以及预先得到的知识来对函数进行定义和调整，没有固定的标准方法。在本发明的一个优选的实施例中，可以令
GeoScorei＝∑((preGeoWeightj+nextGeoWeightj)*lg(1+min(preLinkCountj+nextLinkCountj)))
这样得到的纠正和填充效果较好。
进一步地，步骤4中，对城市和省份分别利用上述步骤求取候选列表，如果省份的候选列表中不包含城市候选列表中各城市对应的省份，则将缺失的省份也添加入省份的候选列表。
本发明方法实现简单，能够对IP地址库的数据进行纠正和补充，方法比较有效且成本较低，不需要实地调研确认IP的地址和ISP归属信息，也无需依靠网民的反馈，当探测的网络拓扑数据增多时，该方法就能够覆盖更多的IP。
附图说明
图1是本发明的IP地址库的推断和填充方法的步骤流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步说明。
实施例1：
IP地址推断和填充的例子：以IP地址183.151.162.1为例，在库中的地址是浙江省，城市为不确定，运营商为电信。该中间路由的前后跳子网列表见表1，如下：
表1.路由的前后跳同址的子网元组列表
经过步骤2，得到如表2的投票结果。
表2.路由的前后跳同址的投票列表
然后由表2可以得知，备选的投票结果是唯一的，省份为浙江，城市是丽水市，运营商为电信，由于候选结果唯一，因此无须进一步的统计计算。推断的地址结果与原始IP地址库中的信息相比，省份是相同的，城市信息进行了补充，ISP信息相同。在这种情况下，本次的方法对该地址的省份信息和运营商信息进行了验证，城市信息进行了填充。
实施例2：(备选的投票结果不是唯一的，需要进一步的统计计算)
以IP地址118.84.3.0为例，在库中的地址是北京，运营商为电信，为骨干网IP网段。该中间路由的前后跳子网(部分截取)列表见表3，如下：
表3.路由的前后跳同址的子网元组列表
经过步骤2，得到如表4的投票结果。
表4.路由的前后跳同址的投票列表
然后由表4可以得知，地址的投票结果共计有两个：北京和合肥安徽，ISP投票结果是电信和联通。如果按照最简公式，投票各结果的得分均相同，如果考虑到前后网段链接数该影响因子，则北京的得分应比合肥安徽高，ISP的判定结果也是同理。因此该结果对数据库中的结果进行了一定的验证。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims (2)

1.一种IP地址库的推断和填充方法，其步骤包括：
1)对于一个IP，从Traceroute数据中找出满足其前后跳IP同地址的连续三跳IP，并记录三个IP分别对应的C网段或者更小的网段，记做preNet，midNet和nextNet，其中，preNet≠midNet且midNet≠nextNet；对于midNet，生成如下的各网段对的元组列表：
midNet:(preNet1,nextNet1)，......，(preNetx,nextNetx)；
2)使用给定的IP地址库和步骤1)提取出的元组列表，每一个元组根据下述统计规则投票选出midNet的一个候选地址数据：如果元组中的前后跳具有相同的地址，则针对中间一跳IP，则由该元组得到其候选地址数据，即与前后跳相同的地址；从而得到midNet的候选地址列表；如果该候选地址列表中的各候选地址相同，则作为最终判定结果并结束；如果该候选地址列表中的各候选地址有不同，则继续下面的步骤；
3)使用步骤2)的结果对midNet进行信息的判定，具体方法是：
a)对每一个候选地址geoi，记录是哪些元组投票选出的，这些元组的个数记为counti，然后对下列指标进行统计：
前一跳子网与中间路由子网的链接preLink的出现次数preLinkCount；
后一跳子网与中间路由子网的链接nextLink的出现次数nextLinkCount；
前后跳子网ISP相同的元组数目sameISPCount；
前后跳子网各自的地址信息权威值preGeoWeight和nextGeoWeight；
b)计算每个候选地址的得分GeoScorei：
GeoScorei＝∑((preGeoWeightj+nextGeoWeightj)*lg(1+min(preLinkCountj+nextLinkCountj)))；
4)对于所有候选地址及其得分，按得分高低排列，将得到的候选地址列表作为midNet的地址最终判定结果，从而实现对原IP地址数据的纠正和填充。
2.如权利要求1所述的方法，其特征在于：步骤4)中，对城市和省份分别利用求取候选列表，如果省份的候选列表中不包含城市候选列表中各城市对应的省份，则将缺失的省份也添加入省份的候选列表。
CN201410643337.4A 2014-11-06 2014-11-06 一种ip地址库的推断和填充方法 Active CN104333616B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410643337.4A CN104333616B (zh) 2014-11-06 2014-11-06 一种ip地址库的推断和填充方法
PCT/CN2014/095169 WO2016070483A1 (zh) 2014-11-06 2014-12-26 一种ip地址库的推断和填充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410643337.4A CN104333616B (zh) 2014-11-06 2014-11-06 一种ip地址库的推断和填充方法

Publications (2)

Publication Number Publication Date
CN104333616A CN104333616A (zh) 2015-02-04
CN104333616B true CN104333616B (zh) 2018-08-24

Family

ID=52408264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410643337.4A Active CN104333616B (zh) 2014-11-06 2014-11-06 一种ip地址库的推断和填充方法

Country Status (2)

Country Link
CN (1) CN104333616B (zh)
WO (1) WO2016070483A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105227688B (zh) * 2015-08-31 2018-06-29 罗向阳 一种基于路径特征的区域级目标ip定位方法
CN105897944B (zh) * 2016-03-25 2020-08-04 胡津瑞 一种基于trace的IP地址地理位置库的推断和填充方法
CN107819827B (zh) * 2017-10-16 2021-03-12 阔视（北京）科技有限公司 广告的投放方法、装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394944A (zh) * 2011-09-16 2012-03-28 北京新媒传信科技有限公司 一种Web访问中的IP地址库修正方法和设备
CN103716282A (zh) * 2012-09-28 2014-04-09 北京新媒传信科技有限公司 一种修正ip库的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104635B (zh) * 2009-12-17 2014-07-16 阿里巴巴集团控股有限公司 一种更新互联网协议ip地址库的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394944A (zh) * 2011-09-16 2012-03-28 北京新媒传信科技有限公司 一种Web访问中的IP地址库修正方法和设备
CN103716282A (zh) * 2012-09-28 2014-04-09 北京新媒传信科技有限公司 一种修正ip库的方法和系统

Also Published As

Publication number Publication date
WO2016070483A1 (zh) 2016-05-12
CN104333616A (zh) 2015-02-04

Similar Documents

Publication Publication Date Title
Cho et al. BGP hijacking classification
Li et al. Internet anycast: performance, problems, & potential
Glatz et al. Classifying internet one-way traffic
Ballani et al. A study of prefix hijacking and interception in the Internet
CN107124434B (zh) 一种dns恶意攻击流量的发现方法及系统
Dainotti et al. Lost in space: improving inference of IPv4 address space utilization
Khan et al. As-level topology collection through looking glass servers
Nur et al. Record route IP traceback: Combating DoS attacks and the variants
Fontugne et al. The (thin) bridges of as connectivity: Measuring dependency using as hegemony
Hlavacek et al. Practical experience: Methodologies for measuring route origin validation
CN101518017A (zh) 用于因特网协议(ip)追踪的基于自治系统的边缘标记（asem）
Flach et al. Quantifying violations of destination-based forwarding on the Internet
CN104333616B (zh) 一种ip地址库的推断和填充方法
Karlin et al. Nation-state routing: Censorship, wiretapping, and BGP
McQuistin et al. Taming anycast in the wild internet
Moreira et al. A stateless traceback technique for identifying the origin of attacks from a single packet
Korczynski et al. Reputation metrics design to improve intermediary incentives for security of TLDs
Mazloum et al. Violation of interdomain routing assumptions
Lutu et al. The BGP visibility toolkit: Detecting anomalous internet routing behavior
Fiadino et al. Online Social Networks anatomy: On the analysis of Facebook and WhatsApp in cellular networks
Shah et al. Towards characterizing international routing detours
Wübbeling et al. Inter-AS routing anomalies: Improved detection and classification
Hlavacek et al. Smart RPKI validation: Avoiding errors and preventing hijacks
JP5135275B2 (ja) 経路障害箇所推定装置及びコンピュータプログラム
Hlavacek et al. Keep Your Friends Close, but Your Routeservers Closer: Insights into {RPKI} Validation in the Internet

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210224

Address after: 100190 room 506, building 2, courtyard 4, South 4th Street, Zhongguancun, Haidian District, Beijing

Patentee after: CHINA INTERNET NETWORK INFORMATION CENTER

Address before: 100190 No. four, 4 South Street, Haidian District, Beijing, Zhongguancun

Patentee before: Computer Network Information Center, Chinese Academy of Sciences