CN103167052A

CN103167052A - 一种自动优化ip地域信息库的方法及系统

Info

Publication number: CN103167052A
Application number: CN201110424299XA
Authority: CN
Inventors: 欧阳佑; 吴明辉; 孔誉乾
Original assignee: BEIJING SIBOTU INFORMATION TECHNOLOGY Co Ltd
Current assignee: Shanghai second network technology Co. Ltd.
Priority date: 2011-12-16
Filing date: 2011-12-16
Publication date: 2013-06-19
Anticipated expiration: 2031-12-16
Also published as: CN103167052B

Abstract

本发明公开了一种自动优化IP地域信息库的方法及系统，涉及IP库技术。本发明公开的自动优化IP地域信息库的方法包括：按照所有地理位置稳定的用户机的用户日志统计IP库中各IP段之间的转移频次，根据所统计出的各IP段之间的转移频次分别计算各IP段的候选地域信息的置信度，并将各IP段的候选地域信息中置信度最高的地域信息作为IP库中该IP段的地域信息。本发明还公开了一种自动优化IP地域信息库的系统。本申请技术方案提高了IP库的准确度。

Description

一种自动优化IP地域信息库的方法及系统

技术领域

本发明涉及IP库技术，尤其涉及一种自动优化IP地域信息库的方法及系统。

背景技术

IP(Internet Protocol，网络协议)是为计算机网络相互连接进行通信而设计的协议，是为了使连接到因特网上的所有计算机实现相互通信的一套规则。每个连接在因特网上的一台计算机都会被分配一个或多个IP地址用于在网络上进行通讯。IP地址由因特网协会的ICANN(the Internet Corporation forAssigned Names and Numbers，互联网名称与数字地址分配机构)进行分配，目的是为了保证IP地址的全球唯一性。IP地址的分配是一个由多级机构完成的过程，例如：ICANN首先将IP地址分配给下属机构(包括负责北美地区的InterNIC、负责欧洲地区的RIPENIC和负责亚太地区的APNIC)，这些机构再将分配到的IP地址进一步分配给更下级的机构。由于分配过程的层次性和分配机构的地域性，IP地址不仅是主机在因特网上的一个标签，同时也可以作为识别主机的地域信息的一个重要参考标准。随着互联网服务的高速发展，互联网公司越来越重视基于IP地址的地域信息的应用，以更好地提供地域相关的网络服务。例如：互联网广告的地域定向投放，新闻网站针对用户的本地新闻推送，基于IP地址的地理位置定位等等。

包含地域信息的IP库是用来查询每个IP地址的地域信息的数据库，通常由若干个IP段组成。每个IP段均包含一个起始IP地址、一个结束IP地址和一个地域信息，表明落在此IP段之中的所有IP地址均属于此地域信息指明的地域。通常，IP地域信息库是创建者通过统筹各个互联网服务提供商(Internet Service Provider，简称ISP)的IP地址分配资料来生成的。例如，在中国大陆地区，中国大陆地区的IP地址首先是由中国互联网络信息中心(China Internet Network Information Center，简称CNNIC)从亚太地区负责IP分配的机构APNIC获取，然后CNNIC再将这些IP地址的资源分配给电信、移动、联通等ISP运营商。在每个IP地址分配到单个用户的过程中，IP地址的资源还可能被更进一步地分配。每个运营商都会将上级机构分配的IP地址资源继续往下分配，依次包括省级运营商、市县级运营商、宽带2级运营商等等。由于分配过程过于复杂，IP库的创建者基本不可能获得所有运营商的分配资料，因此在IP地址的地域归属的判断上，地域信息的缺失和误判是难以避免的。同时，由于中国IP地址资源的紧缺，运营商通常都会采用动态IP地址分配技术来解决IP地址资源不足的问题。在动态IP分配的过程中，同一个IP地址在不同的时间段可能会被运营商分配给不同的地域，这也增加了IP库创建者准确判断IP地址的地域信息的难度。此外，其他国家和地区也存在上述问题。

从上述内容可以看出，由于IP地址分配过程的复杂性，当前行业中经常使用的IP库基本上都存在着以下几个问题：

完备性：由于从运营商处获取的信息的不完整，IP库难以给出所有IP段的地域信息。

准确性：获取的信息不一定准确，因此IP库中的地域信息有可能与实际地域不符。

时效性：由于各级运营商可能因业务需求调整IP地址的地域分配，以及动态IP分配技术在实际中的大量使用，IP地址对应的地域信息可能随时间发生变化。

发明内容

本发明所要解决的技术问题是，提供一种自动优化IP地域信息库的方法及系统，以自动优化原IP库中的所有IP段的地域信息。

为了解决上述技术问题，本发明公开了一种自动优化IP地域信息库的方法，包括：

按照所有地理位置稳定的用户机的用户日志统计IP库中各IP段之间的转移频次，根据所统计出的各IP段之间的转移频次分别计算各IP段的候选地域信息的置信度，并将各IP段的候选地域信息中置信度最高的地域信息作为IP库中该IP段的地域信息。

其中，地理位置稳定的用户机指地理位置变化在系统统计要求的最小变化区域内的用户机。例如，系统统计要求的最小变化区域为市级，则只要地理位置保持在同一个城市内的用户机即为地理位置稳定的用户机。此时，该用户机在该城市内的地理位置的具体变化忽略不计。

较佳地，上述方法中，可按照如下任一种方式识别出所述地理位置稳定的用户机：

根据用户日志中各用户机的浏览行为信息识别所述地理位置稳定的用户机，其中，所述浏览行为信息至少包括IP地址、访问时间以及上网频次；

根据用户提供的用户机信息识别所述地理位置稳定的用户机根据用户日志中各用户机的浏览行为信息，识别出地理位置稳定的用户机。

较佳地，上述方法中，根据用户日志中各用户机的浏览行为信息识别所述地理位置稳定的用户机时，将满足如下条件的用户机识别为所述地理位置稳定的用户机：

IP交替使用情况为0，且至少满足如下任一条件的用户机：

使用的IP个数在设定范围内，日均IP个数在设定范围内。

较佳地，上述方法中，根据所统计出的各IP段之间的转移频次分别计算各IP段的候选地域信息的置信度指按照如下方式计算：

其中，n＝1～N，N为IP库的IP段的总个数；

第n个IP段的地域信息与候选地域信息相同时，其相似度取值为1；

第n个IP段的地域信息与候选地域信息冲突时，其相似度取值为0；

第n个IP段的地域信息与候选地域信息不冲突时，其相似度取值为0.5。

较佳地，上述方法还包括：当一个或多个IP段的当前地域信息发生变化时，更新IP库中各IP段的地域信息，其中，在更新IP库中各IP段的地域信息的过程中，重新按照所识别出的地理位置稳定的用户机的用户日志统计IP库中各IP段之间的转移频次，根据重新统计出的各IP段之间的转移频次分别计算各IP段的候选地域信息的置信度，将再次计算的候选地域信息的置信度中置信度最高的地域信息更新为IP库中该IP段的地域信息。

较佳地，上述方法中，直到所有IP段的地域信息不再发生改变或者更新操作循环了指定的最大循环次数之后，停止更新IP库中各IP段的地域信息，将此时的地域信息赋给各IP段得到优化之后的最终IP库。

本发明还公开了一种自动优化IP地域信息库的系统，至少包括：

IP段转移频次统计模块，按照所识别出的所有地理位置稳定的用户机的用户日志统计IP库中各IP段之间的转移频次；

地域信息优化模块，根据所统计出的各IP段之间的转移频次分别计算各IP段的候选地域信息的置信度，并将各IP段的候选地域信息中置信度最高的地域信息作为IP库中该IP段的地域信息。

较佳地，上述系统还包括用户机分类模块，根据用户日志中各用户机的浏览行为信息，识别出地理位置稳定的用户机，其中，所述浏览行为信息至少包括IP地址、访问时间以及上网频次；或者根据用户提供的用户机信息识别所述地理位置稳定的用户机。

较佳地，上述系统中，在IP库中有一个或多个IP段的当前地域信息发生变化时，所述IP段转移频次统计模块将重新统计IP库中各IP段之间的转移频次，所述地域信息优化模块则根据重新统计出的各IP段之间的转移频次分别计算各IP段的候选地域信息的置信度，并将各IP段的候选地域信息中置信度最高的地域信息更新为IP库中该IP段的地域信息。

较佳地，上述系统中，当所有IP段的地域信息都不再发生改变或者地域信息的选择过程循环了给定的最大次数之后，所述IP段转移频次统计模块和地域信息优化模块停止IP地址的地域信息的更新，所述地域信息优化模块将最后一次的地域信息作为优化IP库中的最终地域信息。

本申请技术方案基于IP段在用户日志里的关联来评价地域信息的置信度，通过迭代更新的过程优化每个IP段的地域信息，从而提高了IP库的准确度。优选方案中，还通过从用户日志数据中挖掘原IP库中包含地域信息的IP段和不包含地域信息的IP段之间的关联，对原本不包含地域信息的IP段进行地域信息标注，从而使得IP库更为完备。另外，本申请的优选方案还通过对最新的IP转移数据进行追踪，可以及时地识别出IP地址的地域信息因为ISP运营商的调整而发生的改变，从而保证IP库的时效性。

具体实施方式

图1为本实施例1中实现IP地域信息库自动优化的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文将结合附图对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

实施例1

本发明申请人考虑到，虽然目前采用的是动态IP分配技术，即分配给同一台电脑的IP是变化的，但是有些电脑的地理位置是稳定的(如家用电脑)，其地域信息发生变化的可能性极小。也就是说，对于这些地理位置稳定的电脑其地域信息并不会随着IP地址的变化而变化。故申请人提出，可以从包含IP信息的海量用户日志中挖掘出同一台地理位置稳定的电脑的IP转移信息，然后建立这些IP地址之间的地域关联，从而使得不同IP段的地域信息可以相互参考和修正，达到自动优化原IP库中的所有IP段的地域信息的目的。

基于上述思想，本实施例提供一种自动优化IP地域信息库的方法，该方法包括：

根据用户日志中各用户机的浏览行为信息，识别出地理位置稳定的用户机，按照所识别出的所有地理位置稳定的用户机的用户日志统计IP库中各IP段之间的转移频次，根据所统计出的各IP段之间的转移频次分别计算各IP段的候选地域信息的置信度，并将各IP段的候选地域信息中置信度最高的地域信息作为IP库中该IP段的地域信息。

其中，从海量用户的上网日志中提取并记录每个用户标识对应的电脑的浏览行为信息，至少包括该电脑使用过的IP地址、上网时间以及上网频次等；再基于这些信息使用分类模型将电脑分为地理位置稳定的电脑(如家用电脑)和地理位置变化的电脑(如商用便携式电脑)。具体地分类过程中地理位置稳定的电脑首先要满足：没有循环使用过两个不同的IP地址，在此基础上，至少还要满足如下任一条件：

总共使用过的不同的IP地址的个数在一个设定范围内、平均每天使用的不同的IP地址的个数在一个设定范围内。

接下来再对识别出来的台式机电脑，按照时间提取并记录其使用过的所有IP地址形成一个完整的IP地址转移序列。当一台电脑在地址转移序列中从前一个IP地址转移到后一个IP地址时，这两个IP地址在IP库中对应的IP段之间也被记录一次转移。

以某一目标IP段为例，是根据此目标IP段与其关联IP段之间的转移频次，以及关联IP段的地域信息，来计算此目标IP段的候选地域信息的置信度的。其中，需要说明的是目标IP段的关联IP段指与此目标IP段之间的转移频次大于0的所有IP段，目标IP段的候选地域信息包括此目标IP段的所有关联IP段的当前地域信息和目标IP段的当前地域信息；

然后，按照如下公式计算每个候选地域信息的置信度：

其中，n＝1～N，N为IP库的IP段的总个数；

第n个IP段的地域信息与候选地域信息不冲突但也不相同时，其相似度取值为0.5。

下面结合图1说明本实施例中实现IP地域信息库自动优化的具体过程，该过程包括如下步骤：

步骤110：对来访用户机进行分类(即该用户机为地理位置稳定的电脑还是地理位置变化的电脑)；

本实施例中，对来访用户机进行分类时是提取及记录用户日志之中每一个来访用户机的浏览行为信息再对其进行分类(即该用户机为地理位置稳定的电脑还是地理位置变化的电脑)；

具体地，首先为来访的用户机分配一个唯一标识(ID)，提取并记录每个用户机的信息(也可以称为浏览行为)。其中，用户机的信息至少包括IP地址、访问时间以及上网频次等机器信息的一种或多种。

本实施例中记录的用户机的信息如表1所示。

表1为来访的用户机的信息记录表

从表1可以看出，所记录的用户机的每一次浏览行为至少包括3个信息，即此次上网记录的上网时间、使用的IP地址以及上网频次。

然后，根据所记录的各用户机的信息，按照表2所示的分类特征，确定各用户机的类型，即该用户机分为地理位置稳定的电脑还是地理位置变化的电脑；

表2为用户机分类特征表

其中，某一电脑的IP交替使用情况为0后，若至少满足如下任一种条件时，确定该电脑为地理位置稳定的电脑：

使用的IP个数在设定范围内，日均IP个数在设定范围内。

而如表2所示的IP交替使用情况为1，或者IP交替使用情况为0但剩余两个特征均不符合时，确定该电脑为地理位置变化的电脑。

当然在其他一些应用场景中，也可以采用其他方式来识别出地理位置稳定的电脑。如，在用户调查过程中，可以根据用户提供的用户机信息来识别用户机是地理位置稳定的电脑还是地理位置变化的电脑。当用户提供的用户机信息表示其采用的是台式机电脑，则可以认为该用户机为地理位置稳定的电脑，若用户提供的用户机信息表示其采用的是便携式电脑，则可以认为该用户机为地理位置变化的电脑。

步骤120：根据所识别出的所有地理位置稳定的用户机的用户日志统计IP库中各IP段之间的转移频次。

首先从用户机的浏览行为信息中提取并记录地理位置稳定的电脑所使用过的IP地址，具体可按照时间顺序排列使用过的IP序列。在一台电脑的IP序列中，每个IP地址以及其前一个IP地址构成一次有效的IP地址转移。具体地，本实施例中可按照表3记录IP转移序列。

表3为记录IP转移序列表

用户ID	IP转移序列
		10889560	202.111.202.3→202.111.123.27→202.111.123.27→……
10889561	58.104.23.371→202.103.7.1171→……

然后将每次有效的IP地址转移中的两个IP地址映射到IP库的IP段之上，从而将IP地址间的转移转化为IP段间的转移。针对从用户日志中识别出的所有台式机电脑，可从这些电脑的IP转移序列中统计出各IP段之间的转移频次。其中，各IP段之间的转移频次包括各IP段之间的转入频次与转出频次。

步骤130：根据各IP段之间的转移频次信息，计算每个IP段的所有候选地域信息的置信度。

对于某一个IP段，其候选地域信息包括此IP段的当前地域信息和此IP段的所有关联IP段的当前地域信息。其中，此IP段的关联IP段是与此IP段之间的转移频次大于0的所有IP段。而每个候选地域信息的置信度等于此地域信息与其他关联IP段的地域信息的一致度之和。其中，两个IP段之间的地域信息一致度的计算方法为两者之间的转移频次乘以两者的地域信息之间的相似度。

下面以表4所示的某一目标IP段为计算样例具体说明如何计算出目标IP段的所有候选地域信息的置信度。

表4为某一目标IP段的所有候选地域信息表

从上述表4可以看出，目标IP段的候选地域信息为：中国安徽亳州

中国河南郑州

中国安徽未知

其中，对于候选地域信息中国安徽亳州而言，此候选地域信息与第一、第二关联IP段的地域信息均相同，即此候选地域信息与第一、第二关联IP段的地域信息的相似度取值为1。此候选地域信息与第三关联IP段的地域信息(中国河南郑州)完全不同即彼此冲突，因此此候选地域信息与第三关联IP段的地域信息的相似度取值为0。此候选地域信息与第四关联IP段的地域信息(中国安徽未知)不相同但也不彼此冲突，因此此候选地域信息与第四关联IP段的地域信息的相似度取值为0.5。具体地，候选地域信息中国安徽亳州的置信度计算如下：

f(中国安徽亳州)＝(18+19)×1+(14+18)×1+(1+0)×0+(8+6)×0.5＝76；

同理候选地域信息中国河南郑州和中国安徽未知的置信度分别如下所示：

f(中国河南郑州)＝(18+19)×0+(14+18)×0+(1+0)×1+(8+6)×0＝1；

f(中国安徽未知)＝(18+19)×0.5+(14+18)×0.5+(1+0)×0+(8+6)×1＝48.5。

步骤140：为每个IP段选择置信度最高的候选地域信息作为该IP段的地域信息。

还是以表4的计算样例来说明，每个IP段依次选择置信度最高的是中国、安徽、亳州作为目标IP段223.255.252.0-223.255.253.255在国家、省份、城市级别上新的地域信息。

除了上述操作步骤外，在实际应用中，IP库中有一个或多个IP段的当前地域信息可能会再次发生变化，此时，需要重复进行步骤130和140的操作，并用计算出的地域信息中置信度最高的地址信息更新IP库中该IP段的地址信息。即当任一IP段的当前地域信息发生变化时，其关联IP段的候选地域信息的也可能变化故需要更新IP库中各IP段的地域信息。

另有一些优选方案，为了提高系统资源的利用率，在所有IP段的地域信息都不再发生改变或者地域信息的选择过程循环了给定的最大次数之后，就停止IP地址的地域信息更新过程，并将此时的地域信息作为优化IP库中的最终地域信息。

实施例2

本实施例提供一种自动优化IP地域信息库的系统，其可以实现上述实施例1的方法，该系统至少包括IP段转移频次统计模块以及地域信息优化模块。

IP段转移频次统计模块，按照所有地理位置稳定的用户机的用户日志统计IP库中各IP段之间的转移频次，其中，地理位置稳定的用户机指地理位置变化在系统统计要求的最小变化区域内的用户机。例如，系统统计要求的最小变化区域为市级，则只要地理位置保持在同一个城市内的用户机即为地理位置稳定的用户机。此时，该用户机在该城市内的地理位置的具体变化忽略不计。

具体地，IP段转移频次统计模块提取和记录地理位置稳定的电脑的IP转移序列，将每个IP地址映射到原IP库中的IP段以统计出各IP段之间的转移频次；

需要说明的是，对于某一个IP段，其候选地域信息包括此IP段的当前地域信息和此IP段的所有关联IP段的当前地域信息。其中，此IP段的关联IP段是与此IP段之间的转移频次大于0的所有IP段。而每个候选地域信息的置信度等于此地域信息与其他关联IP段的地域信息的一致度之和。其中，两个IP段之间的地域信息一致度的计算方法为两者之间的转移频次乘以两者的地域信息之间的相似度。

在上述系统的基础上，该系统还可包括用户机分类模块，该模块根据用户日志中各用户机的浏览行为信息，识别出地理位置稳定的用户机，其中，所述浏览行为信息至少包括IP地址、访问时间以及上网频次；或者根据用户提供的用户机信息识别所述地理位置稳定的用户机。

另有一些方案，在IP库中有一个或多个IP段的候选地域信息可能会再次发生变化时，IP段转移频次统计模块将重新统计IP库中各IP段之间的转移频次，而地域信息优化模块则根据重新统计出的各IP段之间的转移频次分别计算各IP段的候选地域信息的置信度，并将各IP段的候选地域信息中置信度最高的地域信息更新为IP库中该IP段的地域信息。而且优选方案中，为了提高系统资源的利用率，提出在计算过程中所有IP段的地域信息都不再发生改变或者地域信息的选择过程循环了给定的最大次数之后，IP段转移频次统计模块和地域信息优化模块就停止IP地址的地域信息的更新，将最后一次的地域信息作为优化IP库中的最终地域信息。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种自动优化IP地域信息库的方法，其特征在于，该方法包括：

2.如权利要求1所述的方法，其特征在于，按照如下任一种方式识别出所述地理位置稳定的用户机：

根据用户提供的用户机信息识别所述地理位置稳定的用户机。

3.如权利要求2所述的方法，其特征在于，根据用户日志中各用户机的浏览行为信息识别所述地理位置稳定的用户机时，将满足如下条件的用户机识别为所述地理位置稳定的用户机：

IP交替使用情况为0，且至少满足如下任一条件的用户机：

使用的IP个数在设定范围内，日均IP个数在设定范围内。

4.如权利要求1、2或3所述的方法，其特征在于，根据所统计出的各IP段之间的转移频次分别计算各IP段的候选地域信息的置信度指按照如下方式计算：

其中，n＝1～N，N为IP库的IP段的总个数；

5.如权利要求4所述的方法，其特征在于，该方法还包括：

当一个或多个IP段的当前地域信息发生变化时，更新IP库中各IP段的地域信息，其中，在更新IP库中各IP段的地域信息的过程中，重新按照所识别出的所有地理位置稳定的用户机的用户日志统计IP库中各IP段之间的转移频次，根据重新统计出的各IP段之间的转移频次分别计算各IP段的候选地域信息的置信度，将再次计算的候选地域信息的置信度中置信度最高的地域信息更新为IP库中该IP段的地域信息。

6.如权利要求5所述的方法，其特征在于，

直到所有IP段的地域信息不再发生改变或者更新操作循环了指定的最大循环次数之后，停止更新IP库中各IP段的地域信息，将此时的地域信息赋给各IP段得到优化之后的最终IP库。

7.一种自动优化IP地域信息库的系统，其特征在于，该系统至少包括：

IP段转移频次统计模块，按照所有地理位置稳定的用户机的用户日志统计IP库中各IP段之间的转移频次；

8.如权利要求7所述的系统，其特征在于，该系统还包括：

用户机分类模块，根据用户日志中各用户机的浏览行为信息，识别出地理位置稳定的用户机，其中，所述浏览行为信息至少包括IP地址、访问时间以及上网频次；或者

9.如权利要求7或8所述的系统，其特征在于，

在IP库中有一个或多个IP段的当前地域信息再次发生变化时，所述IP段转移频次统计模块将重新统计IP库中各IP段之间的转移频次，所述地域信息优化模块则根据重新统计出的各IP段之间的转移频次分别计算各IP段的候选地域信息的置信度，并将各IP段的候选地域信息中置信度最高的地域信息更新为IP库中该IP段的地域信息。

10.如权利要求9所述的系统，其特征在于，

当所有IP段的地域信息都不再发生改变或者地域信息的选择过程循环了给定的最大次数之后，所述IP段转移频次统计模块和地域信息优化模块停止IP地址的地域信息的更新，所述地域信息优化模块将最后一次的地域信息作为优化IP库中的最终地域信息。